Le système d’évaluation par les pairs est le gold standard de la publication scientifique. Ce système a deux objectifs: d’une part filtrer les articles scientifiques erronés ou non pertinents et d’autre part améliorer la qualité de ceux jugés dignes de publication. Le rôle des revues scientifiques et des rédacteurs en chef est de veiller à ce que des connaissances scientifiques valides soient diffusées auprès des scientifiques concernés et du public. Cependant, le système d’évaluation par les pairs a récemment été critiqué comme étant intenable sur le long terme, inefficace et cause de délais de publication des résultats scientifiques. Dans ce projet de doctorat, j’ai utilisé une modélisation par systèmes complexes pour étudier le comportement macroscopique des systèmes de publication et d’évaluation par les pairs. Dans un premier projet, j’ai modélisé des données empiriques provenant de diverses sources comme Pubmed et Publons pour évaluer la viabilité du système. Je montre que l’offre dépasse de 15% à 249% la demande d’évaluation par les pairs et, par conséquent, le système est durable en termes de volume. Cependant, 20% des chercheurs effectuent 69% à 94% des revues d’articles, ce qui souligne un déséquilibre significatif en termes d’efforts de la communauté scientifique. Les résultats ont permis de réfuter la croyance largement répandue selon laquelle la demande d’évaluation par les pairs dépasse largement l’offre mais ont montré que la majorité des chercheurs ne contribue pas réellement au processus. Dans mon deuxième projet, j’ai développé un modèle par agents à grande échelle qui imite le comportement du système classique d’évaluation par les pairs, et que j’ai calibré avec des données empiriques du domaine biomédical. En utilisant ce modèle comme base pour mon troisième projet, j’ai modélisé cinq systèmes alternatifs d’évaluation par les pairs et évalué leurs performances par rapport au système conventionnel en termes d’efficacité de la revue, de temps passé à évaluer des manuscrits et de diffusion de l’information scientifique. Dans mes simulations, les deux systèmes alternatifs dans lesquels les scientifiques partagent les commentaires sur leurs manuscrits rejetés avec les éditeurs du prochain journal auquel ils les soumettent ont des performances similaires au système classique en termes d’efficacité de la revue. Le temps total consacré par la communauté scientifique à l’évaluation des articles est cependant réduit d’environ 63%. En ce qui concerne la dissémination scientifique, le temps total de la première soumission jusqu’à la publication est diminué d’environ 47% et ces systèmes permettent de diffuser entre 10% et 36% plus d’informations scientifiques que le système conventionnel. Enfin, le modèle par agents développé peut être utilisé pour simuler d’autres systèmes d’évaluation par les pairs ou des interventions, pour ainsi déterminer les interventions ou modifications les plus prometteuses qui pourraient être ensuite testées par des études expérimentales en vie réelle. / The peer-review system is undoubtedly the gold standard of scientific publication. Peer review serves a two-fold purpose; to screen out of publication articles containing incorrect or irrelevant science and to improve the quality of the ones deemed suitable for publication. Moreover, the role of the scientific journals and editors is to ensure that valid scientific knowledge is disseminated to the appropriate target group of scientists and to the public. However, the peer review system has recently been criticized, in that it is unsustainable, inefficient and slows down publication. In this PhD thesis, I used complex-systems modeling to study the macroscopic behavior of the scientific publication and peer-review systems. In my first project, I modeled empirical data from various sources, such as Pubmed and Publons, to assess the sustainability of the system. I showed that the potential supply has been exceeding the demand for peer review by 15% to 249% and thus, the system is sustainable in terms of volume. However, 20% of researchers have been performing 69% to 94% of the annual reviews, which emphasizes a significant imbalance in terms of effort by the scientific community. The results provided evidence contrary to the widely-adopted, but untested belief, that the demand for peer review over-exceeds the supply, and they indicated that the majority of researchers do not contribute to the process. In my second project, I developed a large-scale agent-based model, which mimicked the behavior of the conventional peer-review system. This model was calibrated with empirical data from the biomedical domain. Using this model as a base for my third project, I developed and assessed the performance of five alternative peer-review systems by measuring peer-review efficiency, reviewer effort and scientific dissemination as compared to the conventional system. In my simulations, two alternative systems, in which scientists shared past reviews of their rejected manuscripts with the editors of the next journal to which they submitted, performed equally or sometimes better in terms of peer-review efficiency. They also each reduced the overall reviewer effort by ~63%. In terms of scientific dissemination, they decreased the median time from first submission until publication by ~47% and diffused on average 10% to 36% more scientific information (i.e., manuscript intrinsic quality x journal impact factor) than the conventional system. Finally, my agent-based model may be an approach to simulate alternative peer-review systems (or interventions), find those that are the most promising and aid decisions about which systems may be introduced into real-world trials.

Notre étude porte sur le programme d’appui à la création en arts visuels contemporains du Conseil des arts et des lettres du Québec (CALQ). La question soulevé habituellement ce type de programme qui s’appuie sur l’évaluation par les pairs est la suivante : les décisions sont-elles « biaisées »? Mais derrière cette question, il y a en a une autre, plus fondamentale : sur quels critères se base l’évaluation? Nous nous intéressons à comprendre le rapport entre l’évaluation de la qualité artistique et l’attribution de bourses. Plus spécifiquement, nous cherchons à analyser comment sont déterminées la qualité et la valeur d’une candidature en arts visuels, sur quels types d’arguments et de critères s’appuie l’évaluation artistique et par quels moyens cette dernière pourra créer une iniquité entre les candidats. Il s’agit donc d’une recherche qui relève de la sociologie de l’art, mais d’une sociologie qui prend en compte le contexte institutionnel et dont l’objet sont les valeurs qui sous-tendent l’évaluation artistique, dans le cadre d’une organisation autonome de subvention des arts. Dans cette perspective, les valeurs artistiques ne se définissent pas ex nihilo mais in situ, dans des situations (ex. comités d’évaluation) et dans un contexte institutionnel précis (le CALQ). L’évaluation de la qualité artistique s’inscrit donc dans des dynamiques sociales concrètes et particulières qu’il nous revient d’observer et d’analyser minutieusement. Notre attention portera spécialement sur les mécanismes de prise de décision et à la construction collective des jugements. / Our study focuses on the Conseil des Arts et des Lettres du Québec (CALQ) program to support the creation of contemporary visual arts. The question that usually rises about this type of programs, which are based on peer review, is: are the decisions "biased"? But behind this question, there is another more fundamental: what criteria the evaluations are based on? We are interested in understanding the relationship between the artistic quality assessment and the fellowships. More specifically, we seek to analyze how are determined the quality and value of an application in visual arts, what types of arguments and criteria sustain an artistic assessment and by which means the latter may create inequity between candidates. Therefore our research is related to the sociology of arts; nonetheless we take into account the institutional framework and the values that underlie the artistic assessment in the context of an autonomous arts’ funding organization. In this perspective, artistic values are not defined ex nihilo but in situ, in concrete situations, such as the evaluation committees, and in a specific institutional context, the CALQ. The artistic quality assessment is built into concrete and particular social dynamics, which compel us to observe and analyze them carefully. In this sense, our attention will particularly address the mechanisms of decision-making and the collective judgments.

Notre étude porte sur le programme d’appui à la création en arts visuels contemporains du Conseil des arts et des lettres du Québec (CALQ). La question soulevé habituellement ce type de programme qui s’appuie sur l’évaluation par les pairs est la suivante : les décisions sont-elles « biaisées »? Mais derrière cette question, il y a en a une autre, plus fondamentale : sur quels critères se base l’évaluation? Nous nous intéressons à comprendre le rapport entre l’évaluation de la qualité artistique et l’attribution de bourses. Plus spécifiquement, nous cherchons à analyser comment sont déterminées la qualité et la valeur d’une candidature en arts visuels, sur quels types d’arguments et de critères s’appuie l’évaluation artistique et par quels moyens cette dernière pourra créer une iniquité entre les candidats. Il s’agit donc d’une recherche qui relève de la sociologie de l’art, mais d’une sociologie qui prend en compte le contexte institutionnel et dont l’objet sont les valeurs qui sous-tendent l’évaluation artistique, dans le cadre d’une organisation autonome de subvention des arts. Dans cette perspective, les valeurs artistiques ne se définissent pas ex nihilo mais in situ, dans des situations (ex. comités d’évaluation) et dans un contexte institutionnel précis (le CALQ). L’évaluation de la qualité artistique s’inscrit donc dans des dynamiques sociales concrètes et particulières qu’il nous revient d’observer et d’analyser minutieusement. Notre attention portera spécialement sur les mécanismes de prise de décision et à la construction collective des jugements. / Our study focuses on the Conseil des Arts et des Lettres du Québec (CALQ) program to support the creation of contemporary visual arts. The question that usually rises about this type of programs, which are based on peer review, is: are the decisions "biased"? But behind this question, there is another more fundamental: what criteria the evaluations are based on? We are interested in understanding the relationship between the artistic quality assessment and the fellowships. More specifically, we seek to analyze how are determined the quality and value of an application in visual arts, what types of arguments and criteria sustain an artistic assessment and by which means the latter may create inequity between candidates. Therefore our research is related to the sociology of arts; nonetheless we take into account the institutional framework and the values that underlie the artistic assessment in the context of an autonomous arts’ funding organization. In this perspective, artistic values are not defined ex nihilo but in situ, in concrete situations, such as the evaluation committees, and in a specific institutional context, the CALQ. The artistic quality assessment is built into concrete and particular social dynamics, which compel us to observe and analyze them carefully. In this sense, our attention will particularly address the mechanisms of decision-making and the collective judgments.

Avec l’augmentation de la popularité de l’IA et de l’apprentissage automatique, le nombre de participants a explosé dans les conférences AI/ML. Le grand nombre d’articles soumis et la nature évolutive des sujets constituent des défis supplémentaires pour les systèmes d’évaluation par les pairs qui sont cruciaux pour nos communautés scientifiques. Certaines conférences ont évolué vers l’automatisation de l’attribution des examinateurs pour les soumissions, le TPMS [1] étant l’un de ces systèmes existants. Actuellement, TPMS prépare des profils de chercheurs et de soumissions basés sur le contenu, afin de modéliser l’adéquation des paires examinateur-soumission. Dans ce travail, nous explorons différentes approches pour le réglage fin auto-supervisé des transformateurs BERT pour les données des documents de conférence. Nous démontrons quelques nouvelles approches des vues d’augmentation pour l’auto-supervision dans le traitement du langage naturel, qui jusqu’à présent était davantage axée sur les problèmes de vision par ordinateur. Nous utilisons ensuite ces représentations d’articles individuels pour construire un modèle d’expertise qui apprend à combiner la représentation des différents travaux publiés d’un examinateur et à prédire leur pertinence pour l’examen d’un article soumis. Au final, nous montrons que de meilleures représentations individuelles des papiers et une meilleure modélisation de l’expertise conduisent à de meilleures performances dans la tâche de prédiction de l’adéquation de l’examinateur. / With the increase in popularity of AI and Machine learning, participation numbers have exploded in AI/ML conferences. The large number of submission papers and the evolving nature of topics constitute additional challenges for peer-review systems that are crucial for our scientific communities. Some conferences have moved towards automating the reviewer assignment for submissions, TPMS [1] being one such existing system. Currently, TPMS prepares content-based profiles of researchers and submission papers, to model the suitability of reviewer-submission pairs. In this work, we explore different approaches to self-supervised fine-tuning of BERT transformers for conference papers data. We demonstrate some new approaches to augmentation views for self-supervision in natural language processing, which till now has been more focused on problems in computer vision. We then use these individual paper representations for building an expertise model which learns to combine the representation of different published works of a reviewer and predict their relevance for reviewing a submission paper. In the end, we show that better individual paper representations and expertise modeling lead to better performance on the reviewer suitability prediction task.