A avaliação é um tema recorrente em todas as áreas do conhecimento, tendo esta um papel impactante em toda a sociedade devido ao seu uso cotidiano. No contexto educacional, a avaliação contribui para que as universidades obtenham conhecimento de suas fragilidades e potencialidades. Além disto, a definição de quais indicadores medem a qualidade, nacional e internacionalmente, é importante para as Instituições de Ensino Superior. Com o intuito de identificar estes pontos e definir quais são as melhores universidades, uma variedade de rankings foram publicados. Esta pesquisa objetiva identificar pontos fortes e fracos da UFRGS no cenário nacional e internacional, a fim de permitir um melhor planejamento de suas ações, tornando-as mais efetivas. Para isto, um modelo de análise e controle de indicadores de rankings é proposto para o cenário nacional e outro para o cenário internacional, onde os indicadores de cada ranking são definidos, padronizados e agrupados, a fim de se obter um Índice Global que representa o desempenho da UFRGS. A análise dos dados, gerados através do modelo, permitiu a identificação dos indicadores críticos para a melhoria da qualidade, dando subsídios para a atuação nestes aspectos. / Evaluation is a recurring theme in all areas of knowledge, having an impactful role in whole society due to its daily use. In the educational context, the evaluation contributes to universities achieve awareness of its weaknesses and strengths. Moreover, the definition of which indicators measure the quality, nationally and internationally, is important for higher education institutions. In order to identify these aspects and define which the best universities are, a variety of rankings was published. This research aims to identify UFRGS’ strengths and weaknesses in the national and international scenario, in order to enable better planning of its actions, making them more effective. In this direction, a model of analysis and control of rankings’ indexes is proposed for the national and for the international scene, where the indexes of each ranking are defined, standardized and assembled in order to obtain a Global Index representing UFRGS’ performance. The data analysis, generated by the model, allowed the critical indexes for quality improvement identification, providing subsides for acting in these aspects.

Em menos de dez anos, os rankings universitários mundiais tornaram-se muito potentes, têm alcançado importância crescente, influenciando políticas, processos avaliativos, decisões de investimento e reestruturação institucional. No cerne da comparação global por eles realizada está o desempenho em pesquisa. Com isso, o objetivo do presente estudo foi analisar a influência da produção científica brasileira e suas áreas de destaque no desempenho das universidades brasileiras nos principais rankings internacionais. Como procedimentos metodológicos, além de pesquisa bibliográfica, foram empregados dados quantitativos relacionados à produção científica brasileira, abrangendo o período 2003-2012, coletados a partir das bases Web of Science (WoS), Essential Science Indicators (ESI) e Journals Citation Report (JCR). Os dados coletados foram analisados com base em múltiplos indicadores bibliométricos e cientométricos de produtividade, visibilidade e impacto e colaboração internacional. A análise do desempenho das universidades brasileiras nos rankings universitários foi realizada em cinco rankings internacionais e um nacional: Academic Ranking of World Universities (ARWU); Times Higher Education (THE), QS World University Rankings (QS); National Taiwan University Ranking (NTU); Leiden Ranking (LR) e Ranking Universitário Folha (RUF). Os resultados da análise revelaram que a contribuição brasileira para a produção científica mundial registrou crescimento de 100,34% no período analisado, ultrapassando o crescimento mundial, que foi de 40,50%. Com base nos indicadores utilizados, foram identificadas quatro áreas de destaque da produção brasileira: Medicina Clínica; Física; Geociências e Ciências Espaciais. Esta pesquisa revelou que o desempenho das universidades brasileiras nos rankings por áreas é melhor do que o alcançado pelas universidades no ranking geral. Conclui-se, também, que uma maior participação brasileira na produção mundial afeta positivamente a inclusão das universidades nos rankings, mas o mesmo efeito positivo não se verifica no alcance de melhores posições das universidades brasileiras nos rankings globais. / In less than ten years the world university rankings have become very potent. They have achieved increasing importance, influencing policies, evaluative processes, investment decisions and institutional reorganization. The research performance is at the heart of global comparison by university rankings. Thus, the aim of this study was to analyze the influence of the scientific production and its excellence areas on Brazilian universities\' performance in international rankings. As methodological procedures, besides the literature review, quantitative data of the Brazilian scientific production were used, covering the period 2003-2012, collected from databases Web of Science (WoS), Essential Science Indicators (ESI) e Journals Citation Report (JCR). The recovered data were analyzed based on multiple bibliometric and scientometric indicators of productivity, visibility, impact and international collaboration. The Brazilian universities performance in university rankings was conducted in five internationals rankings and one national ranking: Academic Ranking of World Universities (ARWU); Times Higher Education (THE), QS World University Rankings (QS); National Taiwan University Ranking (NTU); Leiden Ranking (LR) and Ranking Universitário Folha (RUF). The results showed that the Brazilian contribution to the global scientific production grew by 100.34% in the period, overtaking the global growth, which was 40.50%. Based on the indicators were identified four excellence areas of the Brazilian production: Clinical Medicine; physics; Geosciences and Space Sciences. This research revealed that the performance of Brazilian universities in the rankings by areas is better than that achieved in the global ranking. This research also revealed that the performance of Brazilian universities in the rankings by areas is better than that achieved in the global rankings. It was concluded that greater Brazilian participation in world scientific production positively affects the inclusion of universities in the rankings, but the same positive effect does not arise in achieving better positions in the global rankings.

Submitted by JOSIANE SANTOS DE OLIVEIRA (josianeso) on 2017-06-16T17:00:05Z No. of bitstreams: 1 Kelber David Tozini_.pdf: 1563118 bytes, checksum: 2140af7a3765b061de317ddb0a6a0678 (MD5) / Made available in DSpace on 2017-06-16T17:00:05Z (GMT). No. of bitstreams: 1 Kelber David Tozini_.pdf: 1563118 bytes, checksum: 2140af7a3765b061de317ddb0a6a0678 (MD5) Previous issue date: 2017-03-20 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / This study aimed to understand the relationship between university rankings and students’ motivations to study abroad in addition to identifying possible differences in terms of perceived benefits and challenges. This case study on the Science Without Borders program is divided in two sections. The first presents an overview of the SWB program and how the placement process occurred. The second section presents the results of survey in which 679 students answered a series of questions regarding their motivations, in addition to perceived benefits and challenges. The analysis revealed the existence of three clusters - Ranking-oriented students, Experience-oriented students and Language-oriented students - with distinct motivations, foreign language proficiency level and academic performance prior to the SwB. Most Ranking-oriented students were placed in the Top 500 institutions while the majority of Language-oriented ones studied at institutions which were not part of the same group. These clusters also showed different levels in perceived benefits, with Experience-oriented students having the highest means of professional skills in the academic and internship phases of the program whereas Language-Oriented ones had the lowest. The latter also had the highest perception levels of challenges faced throughout the program. When analyzing only the students’ host institutions’ rank, students who studied at the highest-ranked institutions had the highest means of professional skills and the lowest of perceived challenges, while students in non-ranked institutions had the opposite. These results point to the importance of rankings in the decision-making process and how an institutions’ rank may be associated with perception levels of benefits and challenges in mobility programs. This study also identified a series of barriers which contributed to flaws in the placement process and how some students’ lack of commitment post-participation in the program affects the country’s long-term goals. / O presente estudo teve como objetivo compreender a relação entre rankings de universidade e motivações por parte dos alunos para participar de programa de mobilidade acadêmica além de identificar possíveis diferenças entre os benefícios e dificuldades percebidas. Este estudo de caso sobre o programa Ciência sem Fronteiras está dividido em duas partes. A primeira apresenta um panorama do programa e como o processo de distribuição dos alunos ocorreu, enquanto a segunda mostra o resultado no qual 679 alunos responderam a um questionário sobre as suas motivações e benefícios e dificuldades percebidas durante o programa. A análise mostrou a existência de três clusters de alunos - orientados para rankings, orientados para a experiência e orientados para a aprendizagem da língua estrangeira - com diferentes motivações, níveis de proficiência em língua estrangeira e performance acadêmica antes de participar no programa. A maioria dos alunos voltados para o ranking foram alocados para instituições que fazem parte do ranking top 500 enquanto alunos voltados para a aprendizagem da língua não fizeram parte do mesmo grupo. Os três clusters também apresentam diferentes maids de benefícios percebidos, com alunos voltados para a experiência obtendo a maior média de habilidades profissionais na fase acadêmica e de estágio e alunos voltados para a aprendizagem da língua tiveram a menor média. Este último também apresentou a maior média de percepção de dificuldade em comparação aos outros grupos. Ao analisar a partir do ranking da universidade no exterior, alunos nas universidades do top 100 obtiveram as maiores médias de habilidades profissionais e as menores das dificuldades percebidas, enquanto alunos de universidades não presentes no top 500 tiveram o fenômeno oposto. Estes resultados mostram a importância do ranking no processo de tomada de decisão e como o ranking da instituição pode estar associado aos níveis de percepção de benefícios e dificuldades em programas de mobilidade. O estudo também aponta a necessidade de rever quais alunos devem participar deste tipo de programa. Por fim, uma série de barreiras no planejamento e implementação contribuiu para que falhas no processo de alocação dos alunos ocorresse, incluindo a falta de comprometimento de alguns alunos após sua participação no programa afeta as metas do País.

Aprendizado supervisionado tem sido principalmente utilizado para classificação. Neste trabalho são mostrados os benefícios do uso de rankings ao invés de classificação de exemplos isolados. Um rankeador é um algoritmo que ordena um conjunto de exemplos de tal modo que eles são apresentados do exemplo de maior para o exemplo de menor expectativa de ser positivo. Um ranking é o resultado dessa ordenação. Normalmente, um ranking é obtido pela ordenação do valor de confiança de classificação dado por um classificador. Este trabalho tem como objetivo procurar por novas abordagens para promover o uso de rankings. Desse modo, inicialmente são apresentados as diferenças e semelhanças entre ranking e classificação, bem como um novo algoritmo de ranking que os obtém diretamente sem a necessidade de obter os valores de confiança de classificação, esse algoritmo é denominado de LEXRANK. Uma área de pesquisa bastante importante em rankings é a análise ROC. O estudo de árvores de decisão e análise ROC é bastante sugestivo para o desenvolvimento de uma visualização da construção da árvore em gráficos ROC. Para mostrar passo a passo essa visualização foi desenvolvido uma sistema denominado PROGROC. Ainda do estudo de análise ROC, foi observado que a inclinação (coeficiente angular) dos segmentos que compõem o fecho convexo de curvas ROC é equivalente a razão de verossimilhança que pode ser convertida para probabilidades. Essa conversão é denominada de calibração por fecho convexo de curvas ROC que coincidentemente é equivalente ao algoritmo PAV que implementa regressão isotônica. Esse método de calibração otimiza Brier Score. Ao explorar essa medida foi encontrada uma relação bastante interessante entre Brier Score e curvas ROC. Finalmente, também foram explorados os rankings construídos durante o método de seleção de exemplos do algoritmo de aprendizado semi-supervisionado multi-descrição CO-TRAINING / Supervised learning has been used mostly for classification. In this work we show the benefits of a welcome shift in attention from classification to ranking. A ranker is an algorithm that sorts a set of instances from highest to lowest expectation that the instance is positive, and a ranking is the outcome of this sorting. Usually a ranking is obtained by sorting scores given by classifiers. In this work, we are concerned about novel approaches to promote the use of ranking. Therefore, we present the differences and relations between ranking and classification followed by a proposal of a novel ranking algorithm called LEXRANK, whose rankings are derived not from scores, but from a simple ranking of attribute values obtained from the training data. One very important field which uses rankings as its main input is ROC analysis. The study of decision trees and ROC analysis suggested an interesting way to visualize the tree construction in ROC graphs, which has been implemented in a system called PROGROC. Focusing on ROC analysis, we observed that the slope of segments obtained from the ROC convex hull is equivalent to the likelihood ratio, which can be converted into probabilities. Interestingly, this ROC convex hull calibration method is equivalent to Pool Adjacent Violators (PAV). Furthermore, the ROC convex hull calibration method optimizes Brier Score, and the exploration of this measure leads us to find an interesting connection between the Brier Score and ROC Curves. Finally, we also investigate rankings build in the selection method which increments the labelled set of CO-TRAINING, a semi-supervised multi-view learning algorithm

Em menos de dez anos, os rankings universitários mundiais tornaram-se muito potentes, têm alcançado importância crescente, influenciando políticas, processos avaliativos, decisões de investimento e reestruturação institucional. No cerne da comparação global por eles realizada está o desempenho em pesquisa. Com isso, o objetivo do presente estudo foi analisar a influência da produção científica brasileira e suas áreas de destaque no desempenho das universidades brasileiras nos principais rankings internacionais. Como procedimentos metodológicos, além de pesquisa bibliográfica, foram empregados dados quantitativos relacionados à produção científica brasileira, abrangendo o período 2003-2012, coletados a partir das bases Web of Science (WoS), Essential Science Indicators (ESI) e Journals Citation Report (JCR). Os dados coletados foram analisados com base em múltiplos indicadores bibliométricos e cientométricos de produtividade, visibilidade e impacto e colaboração internacional. A análise do desempenho das universidades brasileiras nos rankings universitários foi realizada em cinco rankings internacionais e um nacional: Academic Ranking of World Universities (ARWU); Times Higher Education (THE), QS World University Rankings (QS); National Taiwan University Ranking (NTU); Leiden Ranking (LR) e Ranking Universitário Folha (RUF). Os resultados da análise revelaram que a contribuição brasileira para a produção científica mundial registrou crescimento de 100,34% no período analisado, ultrapassando o crescimento mundial, que foi de 40,50%. Com base nos indicadores utilizados, foram identificadas quatro áreas de destaque da produção brasileira: Medicina Clínica; Física; Geociências e Ciências Espaciais. Esta pesquisa revelou que o desempenho das universidades brasileiras nos rankings por áreas é melhor do que o alcançado pelas universidades no ranking geral. Conclui-se, também, que uma maior participação brasileira na produção mundial afeta positivamente a inclusão das universidades nos rankings, mas o mesmo efeito positivo não se verifica no alcance de melhores posições das universidades brasileiras nos rankings globais. / In less than ten years the world university rankings have become very potent. They have achieved increasing importance, influencing policies, evaluative processes, investment decisions and institutional reorganization. The research performance is at the heart of global comparison by university rankings. Thus, the aim of this study was to analyze the influence of the scientific production and its excellence areas on Brazilian universities\' performance in international rankings. As methodological procedures, besides the literature review, quantitative data of the Brazilian scientific production were used, covering the period 2003-2012, collected from databases Web of Science (WoS), Essential Science Indicators (ESI) e Journals Citation Report (JCR). The recovered data were analyzed based on multiple bibliometric and scientometric indicators of productivity, visibility, impact and international collaboration. The Brazilian universities performance in university rankings was conducted in five internationals rankings and one national ranking: Academic Ranking of World Universities (ARWU); Times Higher Education (THE), QS World University Rankings (QS); National Taiwan University Ranking (NTU); Leiden Ranking (LR) and Ranking Universitário Folha (RUF). The results showed that the Brazilian contribution to the global scientific production grew by 100.34% in the period, overtaking the global growth, which was 40.50%. Based on the indicators were identified four excellence areas of the Brazilian production: Clinical Medicine; physics; Geosciences and Space Sciences. This research revealed that the performance of Brazilian universities in the rankings by areas is better than that achieved in the global ranking. This research also revealed that the performance of Brazilian universities in the rankings by areas is better than that achieved in the global rankings. It was concluded that greater Brazilian participation in world scientific production positively affects the inclusion of universities in the rankings, but the same positive effect does not arise in achieving better positions in the global rankings.

Aprendizado supervisionado tem sido principalmente utilizado para classificação. Neste trabalho são mostrados os benefícios do uso de rankings ao invés de classificação de exemplos isolados. Um rankeador é um algoritmo que ordena um conjunto de exemplos de tal modo que eles são apresentados do exemplo de maior para o exemplo de menor expectativa de ser positivo. Um ranking é o resultado dessa ordenação. Normalmente, um ranking é obtido pela ordenação do valor de confiança de classificação dado por um classificador. Este trabalho tem como objetivo procurar por novas abordagens para promover o uso de rankings. Desse modo, inicialmente são apresentados as diferenças e semelhanças entre ranking e classificação, bem como um novo algoritmo de ranking que os obtém diretamente sem a necessidade de obter os valores de confiança de classificação, esse algoritmo é denominado de LEXRANK. Uma área de pesquisa bastante importante em rankings é a análise ROC. O estudo de árvores de decisão e análise ROC é bastante sugestivo para o desenvolvimento de uma visualização da construção da árvore em gráficos ROC. Para mostrar passo a passo essa visualização foi desenvolvido uma sistema denominado PROGROC. Ainda do estudo de análise ROC, foi observado que a inclinação (coeficiente angular) dos segmentos que compõem o fecho convexo de curvas ROC é equivalente a razão de verossimilhança que pode ser convertida para probabilidades. Essa conversão é denominada de calibração por fecho convexo de curvas ROC que coincidentemente é equivalente ao algoritmo PAV que implementa regressão isotônica. Esse método de calibração otimiza Brier Score. Ao explorar essa medida foi encontrada uma relação bastante interessante entre Brier Score e curvas ROC. Finalmente, também foram explorados os rankings construídos durante o método de seleção de exemplos do algoritmo de aprendizado semi-supervisionado multi-descrição CO-TRAINING / Supervised learning has been used mostly for classification. In this work we show the benefits of a welcome shift in attention from classification to ranking. A ranker is an algorithm that sorts a set of instances from highest to lowest expectation that the instance is positive, and a ranking is the outcome of this sorting. Usually a ranking is obtained by sorting scores given by classifiers. In this work, we are concerned about novel approaches to promote the use of ranking. Therefore, we present the differences and relations between ranking and classification followed by a proposal of a novel ranking algorithm called LEXRANK, whose rankings are derived not from scores, but from a simple ranking of attribute values obtained from the training data. One very important field which uses rankings as its main input is ROC analysis. The study of decision trees and ROC analysis suggested an interesting way to visualize the tree construction in ROC graphs, which has been implemented in a system called PROGROC. Focusing on ROC analysis, we observed that the slope of segments obtained from the ROC convex hull is equivalent to the likelihood ratio, which can be converted into probabilities. Interestingly, this ROC convex hull calibration method is equivalent to Pool Adjacent Violators (PAV). Furthermore, the ROC convex hull calibration method optimizes Brier Score, and the exploration of this measure leads us to find an interesting connection between the Brier Score and ROC Curves. Finally, we also investigate rankings build in the selection method which increments the labelled set of CO-TRAINING, a semi-supervised multi-view learning algorithm

No description available.

published_or_final_version / Economics and Finance / Master / Master of Economics

In this study, we examine the predictive power of Morningstar’s new ratings for mutual funds’ future performance and compare its predictive power with four competing predictors. We also examine Morningstar’s new ratings’ predictive power in bull and bear periods. Furthermore, we compare the predictive power of the new and old star-ratings. We perform all these tests for both U.S. and Canadian equity funds. We use a regression model and non-parametric tests in this study. The results suggest Morningstar’s new ratings accurately rank funds and predict out-of-sample performance of only five-star rated complete funds for short- and medium-terms for U.S., and for medium-term only for Canada. Also, predictive power of Morningstar’s new ratings is low compared to four alternative predictors for both countries. Further, the new star ratings accurately predicts for bear period for both markets. The old ratings (new ratings), however relatively predict better for U.S. funds (Canadian funds). / ix, 184 leaves ; 29 cm

Whereas benchmarking experiments are very frequently used to investigate the performance of statistical or machine learning algorithms for supervised and unsupervised learning tasks, overall analyses of such experiments are typically only carried out on a heuristic basis, if at all. We suggest to determine winners, and more generally, to derive a consensus ranking of the algorithms, as the linear order on the algorithms which minimizes average symmetric distance (Kemeny-Snell distance) to the performance relations on the individual benchmark data sets. This leads to binary programming problems which can typically be solved reasonably efficiently. We apply the approach to a medium-scale benchmarking experiment to assess the performance of Support Vector Machines in regression and classification problems, and compare the obtained consensus ranking with rankings obtained by simple scoring and Bradley-Terry modeling. / Series: Research Report Series / Department of Statistics and Mathematics