Автоматизація підбору наукових рецензентів: огляд задач і методів

Abstract

Останнім часом все гостріше постає проблема якісного та своєчасного наукового рецензування. Наукові рецензенти здійснюють експертизу рукописів статей, доповідей конференцій, монографій, дисертацій, запитів на гранти тощо. Наукових рецензентів призначають переважно вручну в умовах дефіциту часу. За великих обсягів рецензування досягти високої якості експертизи вкрай важко. На сьогодні збільшилася кількість досліджень щодо автоматизації підбору рецензентів. При цьому формальна звірка спеціальностей рецензентів та заявок або посимвольне порівняння ключових слів не завжди дозволяють сформувати якісні призначення. В цій роботі здійснено огляд стану сучасних досліджень щодо методів автоматичного призначення наукових рецензентів. Виділяють 3 етапи процесу підбору рецензентів: 1) формування бази рецензентів та структурування інформації про рецензентів та заявки; 2) визначення коефіцієнта схожості між заявкою та рецензентом; 3) розподіл заявок за рецензентами для максимізації агрегованої схожості та комплексного покриття тематики за усіма призначеннями. Розглянуто основні варіанти задачі підбору як одного рецензента, так і колективу рецензентів. Проаналізовано методи для оцінювання відповідності рецензента заявці на основі статистичного аналізу тексту, тематичного моделювання та глибокого навчання. Проаналізовано можливі критерії оптимальності в задачі розподілу рецензентів по заявках, а також обмеження щодо рівня відповідності рецензентів заявці, рівня комплексноcті покриття тематики, справедливих умов експертизи, завантаженості рецензентів та інші. Задача оптимального призначення рецензентів є NP-повною, тому для її розв’язання використовують різноманітні евристичні та мета-евристичні алгоритми. В статті також окреслено перспективи подальших досліджень у сфері автоматичного призначення рецензентів.

High-quality and timely peer review for scientific works has become increasingly acute recently. Scientific reviewers peer review journal articles, conference papers, monographs, PhD-thesis, grants etc. Scientific reviewers are assigned mainly manually due to the lack of time. Having large volumes of content to review, a high-quality peer review is hard to get. In recent years there has been an increase in research on reviewer assignment automation. Also, the formal comparison of a reviewer’s research domains and a proposal’s research domains, or character-level comparison of keywords do not always provide high-quality assignments. In this paper, we perform a review on current methods of automated scientific reviewer assignment. There are 3 stages of reviewer assignment process: 1) creating reviewers’ database and structuring the information about reviewers and proposals; 2) calculating the similarity score between a proposal and a reviewer; 3) finding the appropriate assignment of proposals to reviewers, and maximizing the aggregated similarity and overall topic coverage over all assignments. Two main variations of reviewer assignment problem are considered: single and multiple reviewer assignment problem. Methods for structuring the information about proposals and reviewers based on statistical analysis of text, topic modeling and deep learning are analyzed. In the third stage, we considered possible optimal criteria for optimizing reviewers’ assignments to proposals, and also constraints, that ensure a certain level of reviewers-proposal concordance such as overall topic coverage, fair peer review, reviewers workload etc. The problem of optimal reviewer assignment is NPcomplete, therefore for solving different heuristics and meta-heuristics algorithms are used. We also present perspectives of future research on the automated reviewer assignment.