“Вітаю! Ви були додані до редакційної системи нашого журналу, оскільки ми вважаємо, що ви будете служити чудовим рецензентом [Unexciting Title] Рукопис … “
Ви, мабуть, теж отримуєте їх. Здається, що такі електронні листи поширюються. Система рецензування все ще може бути найкращим для забезпечення якості академічної якості, але вона вразлива до перевантаження людини, уподобань і навіть настрою. Результатом може бути низькі ефекти, пізні або неконструктивні відгуки, але спочатку редакторам потрібно пощастило знайти когось, хто бажає взагалі зробити відгук. Повинно бути кращим способом. Ось ідея, як переосмислити процес розподілу рецензентів.
Тиск на експертну оцінку
У міру того, як кількість академічних робіт продовжує зростати, так виконують завдання арбітра. Вчені намагаються не відставати від зростаючих вимог опублікувати власну роботу, а також приймати невдячне завдання переглянути роботу інших. На хвилі, низькоефективні, AI-генерації та навіть плагіатські звіти з рецензентів знаходять родючу землю, годуючи порочне коло, яке повільно підриває процес. Огляд однолітків – основа наукового контролю якості – під тиском.
Редактори експериментують із способами переосмислення процесу рецензування. Ідеї включають оплату рецензентів, розповсюдження завдань з огляду серед декількох рецензентів (за пропозиціями проектів), прозоро розміщують огляди (вже варіант для деяких Природа журнали) або відстеження та надання віртуальних кредитів для оглядів (як у Publon). Однак в одному з аспектів журнали, очевидно, не експериментували багато: як призначити подані документи кваліфікованим рецензентам.
Стандартний підхід для вибору рецензентів полягає в тому, щоб відповідати підписаними арбітрам із поданими документами, використовуючи пошук ключових слів, довідковий список документів або знання редакторів про поле та спільноту. Рецензентам запрошують переглянути лише один документ одночасно, але часто масово забезпечити достатню кількість відгуків – і якщо вони знижуються, когось іншого можна запросити. Це непродуктивний процес.
Вибір у робочому розподілі завдань може підвищити ефективність роботи
Натхненний нашими постійними дослідженнями щодо надання працівникам більше вибору в робочому розподілі завдань у виробничих умовах, мене вразило, що академічні арбітри мають обмежений вибір, коли просять переглянути документ для журналу. Це в основному “так, я візьму” або “ні, я не буду”. Їм надається лише вибір прийняти або відхилити один документ з журналу одночасно. Здається, це модус операнді з усіх дисциплін, з якими я стикався.
У нашому дослідженні у фабричному контексті продуктивність зросла, коли працівники могли вибирати серед кількох завдань роботи. Виробник, з яким ми працювали, реалізував систему розподілу робочих завдань на базі SmartWatch: працівники носили смарт-годинники, що показують завдання з відкритих робочих місць, які вони могли прийняти чи відхилити. У польовому експерименті ми надали деяким працівникам можливість вибрати з меню відкритих завдань замість лише одного. Наші результати показали, що надання вибору покращить ефективність роботи.
Новий підхід: вибір рецензентів
Подібно до виробничих установок, академічні рецензенти також можуть зробити краще в системі, яка надає їм можливість їх варіантам. Один із способів вдосконалення експертної оцінки може бути таким же простим, як представити потенційних арбітрів з кількома поданими назвами та рефератами для огляду.
Переваги вибору у розподілі рецензентів є реалістичними: арбітри можуть швидше прийняти огляд, коли його просять вибрати один серед декількох, і їхні звіти про огляд повинні бути більш своєчасними та розвитковими, коли вони справді цікаві щодо цієї теми. Наприклад, рецензенти могли вибрати один серед обмеженого набору назв та рефератів, які відповідають їх області домену чи методологічної експертизи.
Беручи його далі, видавці могли розглянути можливість об'єднання подання з декількох журналів на перехресній платформі подання та рецензування. Це може допомогти зробити процес огляду на дослідженні, а не на те, де він поданий – узгоджений з декларації Сан -Франциско про оцінку досліджень. Зауважу, що подвійні сліпе відгуки, а не односліття, можуть бути кращими на такій платформі для зменшення упереджень на основі приналежності та імен.
Що може піти не так
Зважаючи на підвищений тиск на процес видавництва, переосмислення процесу однорангового огляду важливий сам по собі. Однак перехід на альтернативну систему на основі вибору представляє кілька нових проблем. По -перше, є ризик того, що автори піддають ідеї більш широкому набору рецензентів, які можуть бути більше зацікавлені в тому, щоб отримати ідеї для свого наступного проекту, ніж залучення до конструктивного процесу перегляду.
Так само, якщо платформа є перехресною журналом, автори можуть вагатися, щоб викрити свою роботу багатьом рецензентам у випадку відхилень. По -друге, автори можуть спокуситись використовувати заголовки та реферати Clickbait – хоча це може відступити для авторів, коли рецензенти не знаходять того, що вони очікували в документах. По -третє, маргіналізовані або нові теми можуть не знайти зацікавлених рецензентів. Як і в класичному процесі огляду, такі документи все ще можуть обробляти редактори паралельно. Незважаючи на те, що існують перешкоди, які слід враховувати, тестування рішення має бути низьким ризиком.
Заклик до дії
Видавці вже мають багато журнальні платформи подання, що полегшує авторам подавати документи до ряду журналів або рукописів передачі між ними. Надання більшої кількості варіантів рецензентів, а також слід технічно легко здійснити. Найпростішим способом було б використовувати поточні платформи для призначення рецензентів з низькою кількістю робіт та попросити їх вибрати. Мінус може бути розширеним часом повороту, тому об'єднання паперів через підмножину журналів може бути корисним.
Для успіху рецензентів повинні бути перевірені та приймати кодекс поведінки. Редактори журналу повинні визнати, що їхні журнали будуть переглядатися на тому ж рівні та з такою ж ретельністю, як і інші журнали в басейні. Можливо, можуть бути вказівки Tit-for-TAT, як, наприклад, виконати два конструктивні відгуки або більше для кожного документу, яку авторська команда подає для огляду. Такі правила можуть працювати, коли в журналах, рецензентах та документах є економіка масштабу. Редактори, хто спробує спочатку?