For biomedical research to improve clinical practice, and for funding levels to be sustained, it is increasingly important to understand the pathways from research to clinical practice and to assess the societal impact of research. Approaches to research evaluation through traditional study of journals, journal articles and standard citation analysis, have played comparatively small roles in these developments. In this thesis I critically review how I applied existing methods, and developed a new approach, to study two pathways from research to clinical practice. For Pathway 1, questionnaire surveys of clinicians' views on journals read to inform their clinical practice, and comparisons with impact factors, revealed that a few journals were read widely and considered important by clinicians. Relationships between journal importance and impact factor were complex. For Pathway 2, I applied a novel methodology to identify important citations to four key research papers in an attempt to trace important citations through numerous citing generations. My findings included: few cited papers were important to the citing papers; the number of citation occasions within the citing paper correlated strongly with a cited paper's importance; self-citations were also important; and it was feasible to trace through a series of generations of citations. Evidence of societal impact of the four key research papers examined in my studies included important papers in subsequent generations cited in clinical guidelines, many of which were international. In assessing the impact of my own studies, I found Pathway 1 papers had societal impact on research evaluation methodology; journal editorial policy; and medical library provision policy and practice. Societal impacts of the new methodology, Pathway 2, included informing further methodological development and research evaluation. My portfolio, together with my critical review, adds understanding and provides additional data to current assessment methods of wider impacts of research, and bases for further studies.

Introdução: Muito se tem discutido sobre o desafio de aumentar o impacto das publicações brasileiras. Comparado com outros países, o Brasil possui alta taxa de publicação, mas com baixo índice de citação por documento. Enquanto instituições de fomento e de pesquisa propõem a cooperação internacional como meio de aumentar o impacto das publicações científicas, os editores de periódicos contestam essa exigência. Objetivo: Avaliar se nos periódicos brasileiros de medicina, o número de citações recebidas é influenciado pelo tipo de afiliação dos autores e por outras variáveis relacionadas ao documento ou ao periódico. Métodos: Foram analisados 61 periódicos de medicina publicados no Brasil em 2012, utilizando o SCImago e o Scopus para a extração dos artigos e seus dados. O número de citações de um documento num período de cinco anos foi analisado de acordo com a afiliação dos autores (nacional, internacional ou colaboração), idioma e tipo do documento, indicador SCImago e categoria do assunto do periódico. Resultados: Análises univariadas mostraram que todas as variáveis testadas influenciaram o número de citações recebidas. Após ajuste de covariáveis pela análise multivariada observamos aumento de citações em 0,17 (IC 95%: 0,094-0,246) para documentos com afiliação em colaboração quando comparado à afiliação nacional. Aumento significativo no número de citações foram observados em documentos em idioma bilíngue (Inglês e Português) 0,329 (IC 95%: 0,256-0,402) e apenas em Inglês 0,158 (IC 95%: 0,086-0,231) quando comparado a documentos em português, do tipo artigo 1,716 (IC 95%: 1,410-2,021) e artigo de Revisão 2,931 (IC 95%: 2,618-3,245) quando comparados a artigo no prelo e que possuem categoria de assunto Hematologia 1,280 (IC 95%: 1,019-1,540), entre outros, quando comparado ao assunto geriatria e gerontologia. Conclusão: Documentos com autoria em colaboração, aumentaram, de modo discreto, o índice de citação nos periódicos de interesse, quando comparados aos de autoria nacional. Idioma, tipo do documento, indicador Scimago (cites per doc - 2 years) e categoria do assunto do periódico influenciaram significantemente o número de citações recebidas / Introduction: The challenge of increasing the impact of Brazilian science has been much discussed. Compared with other countries, Brazil has a high publication rate, but with low citation index per document. While sponsoring and research institutions are proposing international cooperation as a means of increasing the impact of science, journal editors question this demand. Objective: To evaluate whether, in Brazilian medical journals, the number of received citations is influenced by the type of authors affiliation and other variables related to the document or to the journal. Methods: A total of 61 medical journals published in Brazil in 2012 were analyzed, SCImago and Scopus were used to extract the articles and their data. The number of citations of a document over five years was analyzed according to the authors\' affiliation (national, international or in collaboration), language and document type, SCImago index and journal subject category. Results: Univariate analyses showed that all tested variables influenced the number of received citations. After adjusting for covariates by multivariate analysis, we observed an increase of citations in 0.17 (95% CI: 0.094-0.246) for documents with affiliation in collaboration when compared to national affiliation. A significant increase in the number of citations was observed in bilingual documents (English and Portuguese) 0.329 (95% CI: 0.256-0.402) and only English 0.158 (95% CI: 0.086-0.231) when compared to documents in Portuguese, document type: Article 1.716 (95% CI: 1.410-2.021) and Review 2.931 (95% CI: 2.618-3.245) when compared to Article-in-Press and that have subject category Hematology 1.280 (95% CI: 1.019-1.540), among others, when compared to geriatrics and gerontology. Conclusion: Documents with authorship in collaboration increased, in a discreet way, the citation index in journals of interest, when compared to those with national authorship. Language, document type, SCImago index (cites per doc 2 years) and journal subject category significantly influenced the number of received citations

Introdução: Muito se tem discutido sobre o desafio de aumentar o impacto das publicações brasileiras. Comparado com outros países, o Brasil possui alta taxa de publicação, mas com baixo índice de citação por documento. Enquanto instituições de fomento e de pesquisa propõem a cooperação internacional como meio de aumentar o impacto das publicações científicas, os editores de periódicos contestam essa exigência. Objetivo: Avaliar se nos periódicos brasileiros de medicina, o número de citações recebidas é influenciado pelo tipo de afiliação dos autores e por outras variáveis relacionadas ao documento ou ao periódico. Métodos: Foram analisados 61 periódicos de medicina publicados no Brasil em 2012, utilizando o SCImago e o Scopus para a extração dos artigos e seus dados. O número de citações de um documento num período de cinco anos foi analisado de acordo com a afiliação dos autores (nacional, internacional ou colaboração), idioma e tipo do documento, indicador SCImago e categoria do assunto do periódico. Resultados: Análises univariadas mostraram que todas as variáveis testadas influenciaram o número de citações recebidas. Após ajuste de covariáveis pela análise multivariada observamos aumento de citações em 0,17 (IC 95%: 0,094-0,246) para documentos com afiliação em colaboração quando comparado à afiliação nacional. Aumento significativo no número de citações foram observados em documentos em idioma bilíngue (Inglês e Português) 0,329 (IC 95%: 0,256-0,402) e apenas em Inglês 0,158 (IC 95%: 0,086-0,231) quando comparado a documentos em português, do tipo artigo 1,716 (IC 95%: 1,410-2,021) e artigo de Revisão 2,931 (IC 95%: 2,618-3,245) quando comparados a artigo no prelo e que possuem categoria de assunto Hematologia 1,280 (IC 95%: 1,019-1,540), entre outros, quando comparado ao assunto geriatria e gerontologia. Conclusão: Documentos com autoria em colaboração, aumentaram, de modo discreto, o índice de citação nos periódicos de interesse, quando comparados aos de autoria nacional. Idioma, tipo do documento, indicador Scimago (cites per doc - 2 years) e categoria do assunto do periódico influenciaram significantemente o número de citações recebidas / Introduction: The challenge of increasing the impact of Brazilian science has been much discussed. Compared with other countries, Brazil has a high publication rate, but with low citation index per document. While sponsoring and research institutions are proposing international cooperation as a means of increasing the impact of science, journal editors question this demand. Objective: To evaluate whether, in Brazilian medical journals, the number of received citations is influenced by the type of authors affiliation and other variables related to the document or to the journal. Methods: A total of 61 medical journals published in Brazil in 2012 were analyzed, SCImago and Scopus were used to extract the articles and their data. The number of citations of a document over five years was analyzed according to the authors\' affiliation (national, international or in collaboration), language and document type, SCImago index and journal subject category. Results: Univariate analyses showed that all tested variables influenced the number of received citations. After adjusting for covariates by multivariate analysis, we observed an increase of citations in 0.17 (95% CI: 0.094-0.246) for documents with affiliation in collaboration when compared to national affiliation. A significant increase in the number of citations was observed in bilingual documents (English and Portuguese) 0.329 (95% CI: 0.256-0.402) and only English 0.158 (95% CI: 0.086-0.231) when compared to documents in Portuguese, document type: Article 1.716 (95% CI: 1.410-2.021) and Review 2.931 (95% CI: 2.618-3.245) when compared to Article-in-Press and that have subject category Hematology 1.280 (95% CI: 1.019-1.540), among others, when compared to geriatrics and gerontology. Conclusion: Documents with authorship in collaboration increased, in a discreet way, the citation index in journals of interest, when compared to those with national authorship. Language, document type, SCImago index (cites per doc 2 years) and journal subject category significantly influenced the number of received citations

Investigamos o quanto o conhecimento de língua inglesa e as capacidades científicas dos orientadores podem predizer significativamente o sucesso que estudantes de pós-graduação em Psiquiatria num país emergente obtêm em termos da quantidade e qualidade de publicações de resultados de suas pesquisas em periódicos de impacto. Usando como amostra alunos de mestrado e doutorado do curso de Pós- Graduação da área de concentração do Departamento de Psiquiatria da FMUSP, foram levantadas informações sobre seus conhecimentos na língua inglesa e os caminhos utilizados para a tradução de seus artigos submetidos para periódicos publicados em inglês. O número de sujeitos foi de 43 participantes, sendo 28 mestrandos e 15 doutorandos. A maioria de nossos sujeitos (60%) obteve notas acima de 80 (em possíveis 100) para conhecimentos em língua inglesa no momento do ingresso no curso. No entanto, mais de 93,7% utilizou algum grau de assistência externa na elaboração da tradução de artigos científicos submetidos para publicação a partir de suas teses, ainda que a proporção de uso de serviços para tradução integral de artigos tenha sido pequena (20,9%). Análises de regressão múltipla realizadas mostraram haver uma relação significativa entre conhecimento de língua inglesa (nota de entrada) e fator de impacto obtido (p = 0,03). Contudo, relação significativa foi também encontrada ao se relacionar os índices de produção científica dos sujeitos com o índice h de seus orientadores (p = 0,03), bem como uma trend de associação com a busca de assistência externa para tradução dos artigos (p = 0,05). O conhecimento de inglês, apesar de relevante, não é decisivo para a obtenção de um maior número ou impacto de publicações para pós-graduandos em Psiquiatria e outras variáveis (índice h do orientador e o uso de assistência externa para tradução dos artigos) foram as que também apresentaram significância estatística com as medidas de sucesso da publicação / This study evaluates the success of graduate students in psychiatry in an emerging country, in terms of the quantity and quality of their scientific production (as well as the impact factors of the journals in which they publish), investigating to what extent student proficiency in English and the scientific capabilities of academic advisors predict that success. Our sample comprised 43 master\'s and doctoral students in psychiatry (N=28 and N=15, respectively) at the University of São Paulo School of Medicine, in São Paulo, Brazil. We collected information about their knowledge of English and the ways in which they write their articles to be submitted to journals publishing in English. Of the 43 students evaluated, 26 (60%) scored >= 80 (out of 100) on an English test given at admission to the graduate program. However, 40 (93.7%) used some form of external assistance in transforming their theses into articles suitable for submission, although only 9 (20.9%) requested full English translation from a version written in Portuguese. Multiple regression analysis revealed that first-author publication in a high-impact journal correlated significantly not only with student proficiency in English at admission (p=0.03), but also with having the article translated by a third party (p=0.05) as well as with the h-index of the academic advisor (p=0.03). Albeit relevant, knowledge of English was not the key factor for the publication success of the graduate students evaluated. Other variables (h-index of the advisor and third-party translation) appear to be also important predictors of success in publication

Investigamos o quanto o conhecimento de língua inglesa e as capacidades científicas dos orientadores podem predizer significativamente o sucesso que estudantes de pós-graduação em Psiquiatria num país emergente obtêm em termos da quantidade e qualidade de publicações de resultados de suas pesquisas em periódicos de impacto. Usando como amostra alunos de mestrado e doutorado do curso de Pós- Graduação da área de concentração do Departamento de Psiquiatria da FMUSP, foram levantadas informações sobre seus conhecimentos na língua inglesa e os caminhos utilizados para a tradução de seus artigos submetidos para periódicos publicados em inglês. O número de sujeitos foi de 43 participantes, sendo 28 mestrandos e 15 doutorandos. A maioria de nossos sujeitos (60%) obteve notas acima de 80 (em possíveis 100) para conhecimentos em língua inglesa no momento do ingresso no curso. No entanto, mais de 93,7% utilizou algum grau de assistência externa na elaboração da tradução de artigos científicos submetidos para publicação a partir de suas teses, ainda que a proporção de uso de serviços para tradução integral de artigos tenha sido pequena (20,9%). Análises de regressão múltipla realizadas mostraram haver uma relação significativa entre conhecimento de língua inglesa (nota de entrada) e fator de impacto obtido (p = 0,03). Contudo, relação significativa foi também encontrada ao se relacionar os índices de produção científica dos sujeitos com o índice h de seus orientadores (p = 0,03), bem como uma trend de associação com a busca de assistência externa para tradução dos artigos (p = 0,05). O conhecimento de inglês, apesar de relevante, não é decisivo para a obtenção de um maior número ou impacto de publicações para pós-graduandos em Psiquiatria e outras variáveis (índice h do orientador e o uso de assistência externa para tradução dos artigos) foram as que também apresentaram significância estatística com as medidas de sucesso da publicação / This study evaluates the success of graduate students in psychiatry in an emerging country, in terms of the quantity and quality of their scientific production (as well as the impact factors of the journals in which they publish), investigating to what extent student proficiency in English and the scientific capabilities of academic advisors predict that success. Our sample comprised 43 master\'s and doctoral students in psychiatry (N=28 and N=15, respectively) at the University of São Paulo School of Medicine, in São Paulo, Brazil. We collected information about their knowledge of English and the ways in which they write their articles to be submitted to journals publishing in English. Of the 43 students evaluated, 26 (60%) scored >= 80 (out of 100) on an English test given at admission to the graduate program. However, 40 (93.7%) used some form of external assistance in transforming their theses into articles suitable for submission, although only 9 (20.9%) requested full English translation from a version written in Portuguese. Multiple regression analysis revealed that first-author publication in a high-impact journal correlated significantly not only with student proficiency in English at admission (p=0.03), but also with having the article translated by a third party (p=0.05) as well as with the h-index of the academic advisor (p=0.03). Albeit relevant, knowledge of English was not the key factor for the publication success of the graduate students evaluated. Other variables (h-index of the advisor and third-party translation) appear to be also important predictors of success in publication

Cette thèse comporte trois chapitres dans lesquels j'étudie les coûts de transaction des actions, les anomalies en finance et les activités du système bancaire parallèle. Dans le premier chapitre (co-écrit avec René Garcia), une nouvelle façon d'estimer les coûts de transaction des actions est proposée. Les coûts de transaction ont diminué au fil du temps, mais ils peuvent augmenter considérablement lorsque la liquidité de financement se raréfi e, lorsque les craintes des investisseurs augmentent ou lorsqu'il y a d'autres frictions qui empêchent l'arbitrage. Nous estimons dans ce chapitre les écarts entre les cours acheteur et vendeur des actions de milliers d'entreprises à une fréquence journalière et présentons ces mouvements importants pour plusieurs de ces épisodes au cours des 30 dernières années. Le coût de transaction des trois quarts des actions est fortement impacté par la liquidité de fi nancement et augmente en moyenne de 24%. Alors que les actions des petites entreprises et celles des entreprises à forte volatilité ont des coûts de transaction plus élevés, l'augmentation relative des coûts de transaction en temps de crise est plus prononcée pour les actions des grandes entreprises et celles des entreprises à faible volatilité. L'écart entre les coûts de transaction respectifs de ces groupes de qualité élevée et qualité faible augmente également lorsque les conditions financières se détériorent, ce qui prouve le phénomène de fuite vers la qualité. Nous avons construit des portefeuilles basés sur des anomalies et avons estimé leurs "alphas" ajustés pour les coûts de rééquilibrage sur la base de nos estimations des coûts de transaction pour montrer que toutes les stratégies sont soit non rentables soit perdent de l'argent, à l'exception de deux anomalies: le "prix de l'action" et la "dynamique du secteur industriel". Dans le deuxième chapitre, j'étudie comment la popularité des anomalies dans les revues scienti ques spécialisées en finance peut influer sur le rendement des stratégies basées sur ces anomalies. J'utilise le ton du résumé de la publication dans laquelle une anomalie est discutée et le facteur d'impact de la revue dans laquelle cette publication a paru pour prévoir le rendement des stratégies basées sur ces anomalies sur la période après publication. La principale conclusion est la suivante: lorsqu'une anomalie est discutée dans une publication dont le résumé a un ton positif, et qui apparaît dans une revue avec un facteur d'impact supérieur à 3 (Journal of Finance, Journal of Financial Economics, Review of Financial Studies), cette anomalie est plus susceptible d'attirer les investisseurs qui vont baser leurs stratégies sur cette anomalie et corriger ainsi la mauvaise évaluation des actions. Le troisième chapitre (co-écrit avec Vasia Panousi) propose une mesure de l'activité bancaire parallèle des entreprises opérant dans le secteur financier aux États-Unis. À cette fi n, nous utilisons l'analyse de données textuelles en extrayant des informations des rapports annuels et trimestriels des entreprises. On constate que l'activité bancaire parallèle était plus élevée pour les "Institutions de dépôt", les "Institutions qui ne prennent pas de dépôt" et le secteur "Immobilier" avant 2008. Mais après 2008, l'activité bancaire parallèle a considérablement baissé pour toutes les fi rmes opérant dans le secteur financier sauf les "Institutions non dépositaires". Notre indice du système bancaire parallèle satisfait certains faits économiques concernant le système bancaire parallèle, en particulier le fait que les politiques monétaires restrictives contribuent à l'expansion du système bancaire parallèle. Nous montrons également avec notre indice que, lorsque l'activité bancaire parallèle des 100 plus grandes banques augmente, les taux de délinquance sur les prêts accordés par ces banques augmentent également. L'inverse est observé avec l'indice bancaire traditionnel: une augmentation de l'activité bancaire traditionnelle des 100 plus grandes banques diminue le taux de délinquance. / This thesis has three chapters in which I study transaction costs, anomalies and shadow banking activities. In the first chapter (co-authored with René Garcia) a novel way of estimating transaction costs is proposed. Transaction costs have declined over time but they can increase considerably when funding liquidity becomes scarce, investors' fears spike or other frictions limit arbitrage. We estimate bid-ask spreads of thousands of firms at a daily frequency and put forward these large movements for several of these episodes in the last 30 years. The transaction cost of three-quarters of the firms is significantly impacted by funding liquidity and increases on average by 24%. While small firms and high volatility firms have larger transaction costs, the relative increase in transaction costs in crisis times is more pronounced in large firms and low-volatility firms. The gap between the respective transaction costs of these high- and low-quality groups also increases when financial conditions deteriorate, which provides evidence of flight to quality. We build anomaly-based long-short portfolios and estimate their alphas adjusted for rebalancing costs based on our security-level transaction cost estimates to show that all strategies are either unprofitable or lose money, except for price per share and industry momentum. In the second chapter I study how the popularity of anomalies in peer-reviewed finance journals can influence the returns on these anomalies. I use the tone of the abstract of the publication in which an anomaly is discussed and the impact factor of the journal in which this publication appears to forecast the post-publication return of strategies based on the anomaly. The main finding is the following: when an anomaly is discussed in a positive tone publication that appears in a journal with an impact factor higher than 3 (Journal of Finance, Journal of Financial Economics, Review of Financial Studies), this anomaly is more likely to attract investors that are going to arbitrage away the mispricing. The third chapter (co-authored with Vasia Panousi) proposes a measure of the shadow banking activity of firms operating in the financial industry in the United States. For this purpose we use textual data analysis by extracting information from annual and quarterly reports of firms. We find that the shadow banking activity was higher for the “Depository Institutions", “Non depository Institutions" and the “Real estate" before 2008. But after 2008, the shadow banking activity dropped considerably for all the financial companies except for the “Non depository Institutions". Our shadow banking index satisfies some economic facts about the shadow banking, especially the fact that contractionary monetary policies contribute to expand shadow banking. We also show with our index that, when the shadow banking activity of the 100 biggest banks increases, the delinquency rates on the loans that these banks give also increases. The opposite is observed with the traditional banking index: an increase of the traditional banking activity of the 100 biggest banks decreases the delinquency rate.