Estágio realizado na SAPO e orientado pelo Eng.º João Pedro Gonçalves e pela Eng.ª Maria João Nogueira / Tese de mestrado integrado. Engenharia Informática e Computação. Faculdade de Engenharia. Universidade do Porto. 2008

Tese de mestrado integrado. Engenharia Electrotécnica e de Computadores (Major Telecomunicações). Faculdade de Engenharia. Universidade do Porto. 2009

Submitted by Deise Deolindo Silva (deisedeolindo@hotmail.com) on 2018-07-19T12:20:49Z No. of bitstreams: 1 TESE_DEISE_DEOLINDO_SILVA.pdf: 1458190 bytes, checksum: db67e70404b32f2c7af62eb70affdfeb (MD5) / Approved for entry into archive by Satie Tagara (satie@marilia.unesp.br) on 2018-07-19T14:54:52Z (GMT) No. of bitstreams: 1 silva_dd_dr_mar.pdf: 1458190 bytes, checksum: db67e70404b32f2c7af62eb70affdfeb (MD5) / Made available in DSpace on 2018-07-19T14:54:52Z (GMT). No. of bitstreams: 1 silva_dd_dr_mar.pdf: 1458190 bytes, checksum: db67e70404b32f2c7af62eb70affdfeb (MD5) Previous issue date: 2018-06-28 / Conhecer o desempenho científico de um investigador, temática, disciplina, área do conhecimento ou país é uma atividade essencial para subsidiar e orientar políticas científicas institucionais ou governamentais. Para tanto, se faz necessário ter critérios de avaliação consistentes e fidedignos ao desempenho do avaliado e considerar na análise aspectos qualitativos e quantitativos. Entre os indicadores de impacto presentes na literatura científica, destaca-se o índice h, proposto por Jorge Hisch em 2005, considerado um parâmetro avaliativo robusto por avaliar de forma simultânea os aspectos relativos à produtividade e ao impacto científico do avaliado. Apesar de ser uma medida simples de ser obtida e de seu desempenho ter se mostrado o mais significativo na representação do desempenho científico de um pesquisador, diversos trabalhos subsequentes apontam suas deficiências e limitações e propõem variações no intuito de minimizar ou dirimir os problemas e apontados. Neste contexto, esta Tese teve por objetivo analisar o índice h, suas propriedades, variações e ponderações e propor dois novos indicadores complementares ao índice h, denominados índices dci e dco, dedicados a medir a dispersão do índice h. Tem-se por hipótese que esses novos índices podem contribuir para avaliar a representatividade do índice h como indicador do impacto científico acumulado de um pesquisador e distinguir, de forma mais precisa, pesquisadores seletivos e produtivos. Além disso, contribui para estimar a possibilidade de o autor avaliado incrementar seu índice h, por meio da análise da dispersão do número de citações contidas no h-core e também fora dele. Para verificar a validade dos indicadores como medidas de dispersão, tomou-se como universo de análise o conjunto de 20 autores mais produtivos na revista Scientometrics, no período de 35 anos (1980-2014), equivalente à publicação de ao menos 20 artigos científicos. Considerou-se um segundo universo de análise, em âmbito brasileiro, relativo aos 116 pesquisadores com bolsa produtividade em Pesquisa Qualis1 (PQ1) em Matemática, e compararam-se o índice h, alguns indicadores do tipo h presentes na literatura e os índices dci e dco. Para ambos universos, levantaram-se na base Scopus, para cada pesquisador, o total de artigos publicados, o número de citações por artigo e o ano de publicação. A partir dos dados levantados, calcularam-se os índices de cada investigador. Conclui-se que, em ambas situações, os indicadores cientométricos (h e índices do tipo h), complementam-se e auxiliam na identificação de autores com alta produtividade em uma temática. As medidas de dispersão dci e dco mostraram-se capazes de caracterizar fidedignamente a dispersão do desempenho do pesquisador em torno do seu índice h e, consequentemente, a pertinência da representatividade desse índice como indicador do desempenho científico do pesquisador avaliado. Tais medidas de dispersão permitiram, ainda, distinguir de forma mais precisa o desempenho dos pesquisadores de um mesmo campo científico. / Knowing the scientific performance of a researcher, thematic, discipline, area of knowledge or country is an essential activity to subsidize and guide institutional or governmental scientific policies. Therefore, it is necessary to have consistent and reliable evaluation criteria for the performance of the evaluated and to consider qualitative and quantitative aspects in the analysis. Among the impact indicators present in the scientific literature, the h-index, proposed by Jorge Hisch in 2005, stands out as a robust evaluation parameter for simultaneously evaluating aspects related to productivity and to scientific impact of the evaluated researcher. Although h-index is a simple measure to obtain and its performance has been the most significant in the representation of the scientific performance of a researcher, several subsequent works pointed out their deficiencies and limitations and proposed variations in order to minimize or solve the problems. In this context, this Thesis aimed to analyze the h-index, its properties, variations and weights and propose two new complementary indicators to the h-index, called indexes dci and dco, dedicated to measure the dispersion of the h-index. It is hypothesized that these new indexes can contribute to evaluate the representativeness of the h-index as an indicator of the cumulative scientific impact of a researcher and to distinguish, more accurately, selective and productive researchers. In addition, it contributes to estimate the possibility of the evaluated author increasing his h-index by analyzing the dispersion of the number of citations contained in the h-core and also outside it. To verify the validity of the indicators as measures of dispersion, it was taken the group of 20 most productive authors of the Scientometrics journal, in the 35-year period (1980-2014), equivalent to the publication of at least 20 scientific articles. It was considered a second universe of analysis, in the Brazilian context, related to the 116 researchers with productivity scholarship in Qualis1 Research (PQ1) in Mathematics, and it were compared the h-index, some indicators of type h present in the literature and the indices dci and dco. For both universes, the total number of articles published, the number of citations per article and the year of publication were raised in the Scopus database for each researcher. From the data collected, the indices of each researcher were calculated. In conclusion, in both situations, the cientificometric indicators (h and h-type indices) complement and assist in the identification of authors with high productivity in a thematic. The dci and dco dispersion measures were able to reliably characterize the dispersion of the researcher's performance around his h-index and, consequently, the pertinence of the representativeness of this index as an indicator of the scientific performance of the evaluated researcher. These dispersion measures also allowed to distinguish in a more accurate way the performance of the researchers of the same scientific field.

Agências de fomento à pesquisa, centros de pesquisas, universidades e a comunidade científica de uma forma geral buscam incessantemente pelo aperfeiçoamento e aumento da qualidade da produção científica de seus pesquisadores. Logo, faz-se necessário que sejam providas ferramentas e métodos eficazes para obtenção de avaliações coerentes. Vários métodos têm sido propostos ao longo dos anos e diferentes formas de avaliação vêm sendo empregadas em órgãos reguladores, como a agência brasileira de pós-graduação CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), todavia algumas questões ainda foram pouco exploradas. Com o advento do índice h (hindex) de Hirsch, que une fundamentalmente quantidade com qualidade, pois avalia um conjunto de artigos de acordo com sua distribuição de citações, uma série de estudos com as mais variadas estatísticas têm sido propostos. Contudo, não há na literatura atual, por exemplo, uma expressão analítica para distribuição de índices h de um grupo de pesquisadores, nem a verificação da existência de universalidade desta distribuição para diferentes grupos e bases de dados. Este trabalho aborda, num primeiro momento, um estudo sobre a distribuição de índice h e de citações em três áreas científicas distintas: física, biologia e ciência da computação, que possuem diferentes práticas de publicações e métodos de pesquisa. O trabalho ainda propõe uma nova métrica para construção de rankings baseado no índice h sucessivo de segunda ordem, por nós denominada s-index, o qual torna possível a comparação entre grupos de pesquisadores de tamanhos diferentes, assim proporcionando, por exemplo, uma comparação em termos de produtividade de grupos com grande quantidade de pesquisadores e grupos menores, mas que ainda assim reflita seus potenciais de produção. Por fim, é realizado estudo da correlação entre o s-index desenvolvido no trabalho e a classificação de cursos de mestrado e doutorado recomendados e reconhecidos realizada pela CAPES, usando dados de pesquisadores de programas de pós-graduação em física e biologia. As abordagens apresentadas podem ser usadas na classificação de grupos de pesquisadores, a partir de uma visão quantitativa, tentando eliminar, assim, métodos qualitativos de avaliação de difícil generalização e replicação. / Research financing agencies, research centers, universities and the scientific community are frequently seeking for improvement and enhancement on the quality of researchers’ work. Therefore, it is necessary to provide optimized tools and methods to get consistent evaluations. Several methods have been proposed over the years and different forms of evaluation are used by agencies such as Coordination for the Improvement of Higher Level Personnel (Capes), although some issues have been overlooked. With the invention of the h-index (Hirsch), that binds quantity with quality by measuring a set of papers according to their citation distribution, many studies have been considered with several different statistical methods. In the current literature, it is not found an analytical expression for h-index distribution over a researchers’ group, nor the proof of universality in this kind of distribution for different groups and databases. This master thesis discusses primarily a study about h-index distribution and citations in three distinct scientific fields: physics, biology and computer science, which has different publication and research practices. Also, it is proposed a novel metric for ranking based on successive h-index, named as s-index, which makes possible to compare researchers’ groups with different sizes, providing for example, a comparison in terms of productivity on higher and smaller groups of researchers, reflecting their skills on scientific production. A correlation study is conducted in order to compare the s-index, developed in this thesis, with the classification of post-graduation courses performed by Capes, using data from postgraduation researchers in physics and biology. The approaches presented can be used to classify researchers’ groups through a quantitative view, by eliminating some qualitative evaluations that are hardly generalizable and replicable.

Agências de fomento à pesquisa, centros de pesquisas, universidades e a comunidade científica de uma forma geral buscam incessantemente pelo aperfeiçoamento e aumento da qualidade da produção científica de seus pesquisadores. Logo, faz-se necessário que sejam providas ferramentas e métodos eficazes para obtenção de avaliações coerentes. Vários métodos têm sido propostos ao longo dos anos e diferentes formas de avaliação vêm sendo empregadas em órgãos reguladores, como a agência brasileira de pós-graduação CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), todavia algumas questões ainda foram pouco exploradas. Com o advento do índice h (hindex) de Hirsch, que une fundamentalmente quantidade com qualidade, pois avalia um conjunto de artigos de acordo com sua distribuição de citações, uma série de estudos com as mais variadas estatísticas têm sido propostos. Contudo, não há na literatura atual, por exemplo, uma expressão analítica para distribuição de índices h de um grupo de pesquisadores, nem a verificação da existência de universalidade desta distribuição para diferentes grupos e bases de dados. Este trabalho aborda, num primeiro momento, um estudo sobre a distribuição de índice h e de citações em três áreas científicas distintas: física, biologia e ciência da computação, que possuem diferentes práticas de publicações e métodos de pesquisa. O trabalho ainda propõe uma nova métrica para construção de rankings baseado no índice h sucessivo de segunda ordem, por nós denominada s-index, o qual torna possível a comparação entre grupos de pesquisadores de tamanhos diferentes, assim proporcionando, por exemplo, uma comparação em termos de produtividade de grupos com grande quantidade de pesquisadores e grupos menores, mas que ainda assim reflita seus potenciais de produção. Por fim, é realizado estudo da correlação entre o s-index desenvolvido no trabalho e a classificação de cursos de mestrado e doutorado recomendados e reconhecidos realizada pela CAPES, usando dados de pesquisadores de programas de pós-graduação em física e biologia. As abordagens apresentadas podem ser usadas na classificação de grupos de pesquisadores, a partir de uma visão quantitativa, tentando eliminar, assim, métodos qualitativos de avaliação de difícil generalização e replicação. / Research financing agencies, research centers, universities and the scientific community are frequently seeking for improvement and enhancement on the quality of researchers’ work. Therefore, it is necessary to provide optimized tools and methods to get consistent evaluations. Several methods have been proposed over the years and different forms of evaluation are used by agencies such as Coordination for the Improvement of Higher Level Personnel (Capes), although some issues have been overlooked. With the invention of the h-index (Hirsch), that binds quantity with quality by measuring a set of papers according to their citation distribution, many studies have been considered with several different statistical methods. In the current literature, it is not found an analytical expression for h-index distribution over a researchers’ group, nor the proof of universality in this kind of distribution for different groups and databases. This master thesis discusses primarily a study about h-index distribution and citations in three distinct scientific fields: physics, biology and computer science, which has different publication and research practices. Also, it is proposed a novel metric for ranking based on successive h-index, named as s-index, which makes possible to compare researchers’ groups with different sizes, providing for example, a comparison in terms of productivity on higher and smaller groups of researchers, reflecting their skills on scientific production. A correlation study is conducted in order to compare the s-index, developed in this thesis, with the classification of post-graduation courses performed by Capes, using data from postgraduation researchers in physics and biology. The approaches presented can be used to classify researchers’ groups through a quantitative view, by eliminating some qualitative evaluations that are hardly generalizable and replicable.

Agências de fomento à pesquisa, centros de pesquisas, universidades e a comunidade científica de uma forma geral buscam incessantemente pelo aperfeiçoamento e aumento da qualidade da produção científica de seus pesquisadores. Logo, faz-se necessário que sejam providas ferramentas e métodos eficazes para obtenção de avaliações coerentes. Vários métodos têm sido propostos ao longo dos anos e diferentes formas de avaliação vêm sendo empregadas em órgãos reguladores, como a agência brasileira de pós-graduação CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), todavia algumas questões ainda foram pouco exploradas. Com o advento do índice h (hindex) de Hirsch, que une fundamentalmente quantidade com qualidade, pois avalia um conjunto de artigos de acordo com sua distribuição de citações, uma série de estudos com as mais variadas estatísticas têm sido propostos. Contudo, não há na literatura atual, por exemplo, uma expressão analítica para distribuição de índices h de um grupo de pesquisadores, nem a verificação da existência de universalidade desta distribuição para diferentes grupos e bases de dados. Este trabalho aborda, num primeiro momento, um estudo sobre a distribuição de índice h e de citações em três áreas científicas distintas: física, biologia e ciência da computação, que possuem diferentes práticas de publicações e métodos de pesquisa. O trabalho ainda propõe uma nova métrica para construção de rankings baseado no índice h sucessivo de segunda ordem, por nós denominada s-index, o qual torna possível a comparação entre grupos de pesquisadores de tamanhos diferentes, assim proporcionando, por exemplo, uma comparação em termos de produtividade de grupos com grande quantidade de pesquisadores e grupos menores, mas que ainda assim reflita seus potenciais de produção. Por fim, é realizado estudo da correlação entre o s-index desenvolvido no trabalho e a classificação de cursos de mestrado e doutorado recomendados e reconhecidos realizada pela CAPES, usando dados de pesquisadores de programas de pós-graduação em física e biologia. As abordagens apresentadas podem ser usadas na classificação de grupos de pesquisadores, a partir de uma visão quantitativa, tentando eliminar, assim, métodos qualitativos de avaliação de difícil generalização e replicação. / Research financing agencies, research centers, universities and the scientific community are frequently seeking for improvement and enhancement on the quality of researchers’ work. Therefore, it is necessary to provide optimized tools and methods to get consistent evaluations. Several methods have been proposed over the years and different forms of evaluation are used by agencies such as Coordination for the Improvement of Higher Level Personnel (Capes), although some issues have been overlooked. With the invention of the h-index (Hirsch), that binds quantity with quality by measuring a set of papers according to their citation distribution, many studies have been considered with several different statistical methods. In the current literature, it is not found an analytical expression for h-index distribution over a researchers’ group, nor the proof of universality in this kind of distribution for different groups and databases. This master thesis discusses primarily a study about h-index distribution and citations in three distinct scientific fields: physics, biology and computer science, which has different publication and research practices. Also, it is proposed a novel metric for ranking based on successive h-index, named as s-index, which makes possible to compare researchers’ groups with different sizes, providing for example, a comparison in terms of productivity on higher and smaller groups of researchers, reflecting their skills on scientific production. A correlation study is conducted in order to compare the s-index, developed in this thesis, with the classification of post-graduation courses performed by Capes, using data from postgraduation researchers in physics and biology. The approaches presented can be used to classify researchers’ groups through a quantitative view, by eliminating some qualitative evaluations that are hardly generalizable and replicable.

Submitted by Fabio Sampaio Rosas null (fabio@dracena.unesp.br) on 2018-04-16T00:30:17Z No. of bitstreams: 1 rosas_fs_dr_mar.pdf: 3029154 bytes, checksum: 519abec6e5d3357a4a244b3f0c4ec51e (MD5) / Approved for entry into archive by Satie Tagara (satie@marilia.unesp.br) on 2018-04-16T14:08:15Z (GMT) No. of bitstreams: 1 rosas_fs_dr_mar.pdf: 3029154 bytes, checksum: 519abec6e5d3357a4a244b3f0c4ec51e (MD5) / Made available in DSpace on 2018-04-16T14:08:15Z (GMT). No. of bitstreams: 1 rosas_fs_dr_mar.pdf: 3029154 bytes, checksum: 519abec6e5d3357a4a244b3f0c4ec51e (MD5) Previous issue date: 2018-03-21 / Não recebi financiamento / Os estudos que mensuram de forma ampla e objetiva a atuação e impacto dos programas de pós-graduação oferecem subsídios para o aprimoramento das diretrizes político-científicas. Neste contexto, esta pesquisa tem por objetivo propor o uso de indicadores adicionais (média de citações e Índice h) como parte da avaliação dos programas de pós-graduação brasileiros, que atualmente são baseados somente em indicadores de produtividade, a fim de identificar o impacto científico e a visibilidade dos programas, tomando como universo de aplicação os programas de pós-graduação da área de Zootecnia, com conceitos de 4 a 7, com mestrado e doutorado. Para cada programa de Zooctenia com mestrado e doutorado, analisam-se os artigos completos, publicados em periódicos Qualis A1 e A2 no triênio 2010-2012. Utilizam-se como fonte de dados, os cadernos de indicadores da CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Para cada artigo presente na produção científica analisada, identificou-se o número de citações recebidas, registradas na base de dados SCOPUS. A partir destes, calcularam-se a média de citações e o Índice h de cada programa. Para verificar a distribuição e dispersão dos índices resultantes para os indicadores propostos, utilizaram-se análises descritivas, gráficos de caixas (Boxplot) e análise de cluster. Os resultados obtidos revelam que não há diferença estatisticamente significativa entre os indicadores analisados relativos aos programas, pelo agrupamento dos programas segundo o conceito atribuído pela Capes na avaliação de 2013, referente ao triênio 2010-2012. Como conclusão, evidenciou-se que a inclusão de indicadores relativos ao impacto da produção científica dos programas de pós-graduação pode contribuir para a melhoria da compreensão do desempenho científico dos programas e reconhecimento da relevância dos seus conhecimentos produzidos e subsidiar na avaliação e classificação dos programas realizada pela CAPES, contribuindo de forma qualitativa na avaliação de programas de pós-graduação brasileiros em áreas similiares à de Zootecnia. / The studies, which quantify in a large and objective way the acting and impact of post-grade programs, offer tools to enhance of political-scientific guidelines. That way, this work aims to propose the use of two indicators (average number of citations and h index) as a part of the evaluation of the Brazilian post-grade programs, which nowadays are only evaluated by productivity indicators, in order to identify the scientific impact and visibility of the programs, taking as subject post-grade programs in Animal Science area, with CAPES concept between 4 and 7, with master and doctor degree. For each program in Animal Science area with master and doctor degree, it was analyzed the complete articles published in scientific journals, which were classified with Qualis indicator A1 and A2 between 2010 and 2012. The notebooks of CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) indicators were used as data source. For each article analyzed, the number of citations that were registered on SCOPUS was counted. Then, the average number of citations and h index of each program were calculated. Descriptive analyzes, box plots and clustering were used in order to verify the distribution and dispersion of the resulting indices for the proposed indicators. As conclusion, it was displayed that the indicators regarding to impact of the scientific production of post-grade programs can contribute to the enhance of the comprehension about the scientific performance and recognizing of the knowledge´s relevance produced, as well as supports on evaluation and classification of the programs, which CAPES carries out, contributing in qualitative way on evaluation of Brazilian post-grade programs in Animal Science similar areas.

Orientadora: Maria Cláudia Cabrini Grácio / Banca: Ely Francina Tannuri de Oliveira / Banca: Fábio Mascarenhas Silva / Banca: Mário de Beni Arrigoni / Banca: Leandro Innocentini Lopes de Faria / Resumo: Os estudos que mensuram de forma ampla e objetiva a atuação e impacto dos programas de pós-graduação oferecem subsídios para o aprimoramento das diretrizes político-científicas. Neste contexto, esta pesquisa tem por objetivo propor o uso de indicadores adicionais (média de citações e Índice h) como parte da avaliação dos programas de pós-graduação brasileiros, que atualmente são baseados somente em indicadores de produtividade, a fim de identificar o impacto científico e a visibilidade dos programas, tomando como universo de aplicação os programas de pós-graduação da área de Zootecnia, com conceitos de 4 a 7, com mestrado e doutorado. Para cada programa de Zooctenia com mestrado e doutorado, analisam-se os artigos completos, publicados em periódicos Qualis A1 e A2 no triênio 2010-2012. Utilizam-se como fonte de dados, os cadernos de indicadores da CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Para cada artigo presente na produção científica analisada, identificou-se o número de citações recebidas, registradas na base de dados SCOPUS. A partir destes, calcularam-se a média de citações e o Índice h de cada programa. Para verificar a distribuição e dispersão dos índices resultantes para os indicadores propostos, utilizaram-se análises descritivas, gráficos de caixas (Boxplot) e análise de cluster. Os resultados obtidos revelam que não há diferença estatisticamente significativa entre os indicadores analisados relativos aos programas, pelo agrupamento dos p... (Resumo completo, clicar acesso eletrônico abaixo) / Abstract: The studies, which quantify in a large and objective way the acting and impact of post-grade programs, offer tools to enhance of political-scientific guidelines. That way, this work aims to propose the use of two indicators (average number of citations and h index) as a part of the evaluation of the Brazilian post-grade programs, which nowadays are only evaluated by productivity indicators, in order to identify the scientific impact and visibility of the programs, taking as subject post-grade programs in Animal Science area, with CAPES concept between 4 and 7, with master and doctor degree. For each program in Animal Science area with master and doctor degree, it was analyzed the complete articles published in scientific journals, which were classified with Qualis indicator A1 and A2 between 2010 and 2012. The notebooks of CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) indicators were used as data source. For each article analyzed, the number of citations that were registered on SCOPUS was counted. Then, the average number of citations and h index of each program were calculated. Descriptive analyzes, box plots and clustering were used in order to verify the distribution and dispersion of the resulting indices for the proposed indicators. As conclusion, it was displayed that the indicators regarding to impact of the scientific production of post-grade programs can contribute to the enhance of the comprehension about the scientific performance and recogniz... (Complete abstract click electronic access below) / Doutor

In this Research Commentary, we describe 3 journal metrics–the Web of Science's Impact Factor, Scopus's SCImago Journal Rank, and Google Scholar Metrics' h5-index—and compile the rankings (if they exist) for 69 mathematics education journals. We then discuss 2 paths that the mathematics education community should consider with regard to these citation-based metrics of journal quality: either working within the system to enhance our positioning or resisting or modifying the system itself.

Supervising students at a distance presents numerous social, mental, professional, and individual challenges on the student- supervisor relationship, and on the substance, progress, and conveyance. From the literature review, several tools and technologies are developed to improve academic quality; however, most of these tools and technologies focus on journal articles’ quality rather than student/supervisor relationships. This study aims to develop an academic rating index (ARI) that will show a supervisor’s review by students and provide an interactive forum. The application will serve as an academic supervision teaching-level index that provides an aggregated measure of supervisors’ past and current impact. Thus, the ARI aims to aggregate all academic supervisor ratings and the number of ratings that they received in the entire academic career to complement their citation index. The study will use quantitative coding and programming tools to ensure a good quality system in the development phase. The application and findings of the study contribute to academic service quality. / Operations Management / M. Tech. (Information Technology)