ГоловнаСуспільствоНаука і релігія

Гра в імітацію. Експеримент зі статтею про вигадану республіку в науковому журналі і проблема смітникових видань в Україні

Проблема псевдонаукових і низькоякісних статей та наукових видань, які радо публікують їх за гроші, або платформ, які пропонують авторство в готовій роботі чи пишуть тексти під ключ — вузька тема для посвячених.

За межі наукової бульбашки вона виходить хіба що в контексті захисту дисертації черговим політиком і плагіатного скандалу. Або як цього разу, коли увагу привернув експеримент історика Ігоря Сердюка з розміщенням двох фейкових статей, одна з яких про історію вигаданої країни Муріноа, нашвидкоруч написана разом з ChatGPT. Її за 1200 грн без особливих вагань опублікували в журналі видавничої групи «Наукові перспективи».

Це не перший подібний експеримент. Приміром, у 2019 році кандидатка філософських наук Мирослава Кругляк написала статтю «Неепістемічна генеративна естетика» про вигаданий напрямок зарубіжної естетичної думки. Текст, який пістрявіє конструкціями «за умов плюралістичності контекстів аналіз віртуального виміру звертається до базових естетичних феноменів», авторка розіслала у 25 українських журналів філософського напрямку.

Першість за почуття гумору і здоровий глузд тоді отримала редколегія «Вісника ХНУ ім. В. Каразіна. Серія: Філософія. Філософські перипетії», яка підхопила цю гру. Вона прийняла публікацію до друку, а після того як авторка її оплатила, надіслали макет статті у «Віснику ХНУ ім. В. Кукурузіна. Серія: Хвілософія. Хвілософські фейкопетії». «Стаття надійшла до редакції 13.05.2019. Редакція посміялась 29.05.2019».

Були й не такі веселі результати експерименту. Три видання таки опублікували текст, навіть не оцінивши дотепність авторки, яка місцем роботи вказала Крижопільський державний педагогічний університет, котрого не існує.

— Тема справді не нова для професійного середовища. І остання провокативна стаття підсвітила її для ширшого кола. Це добре, бо чим більше уваги суспільства, а не тільки наукової спільноти буде до цього питання, тим більше шансів щось змінити, — каже заступник з науки міністра освіти і науки Денис Курбатов.

Цього року МОН спробує перезапустити систему наукових фахових видань. Говоримо з Денисом Курбатовим, як її планують очищати від смітникових видань і чи достатньо цього.

Гра в імітацію. Експеримент зі статтею про вигадану республіку в науковому журналі і проблема смітникових видань в Україні
Денис Курбатов
Фото: надала пресслужба МОН

А і Б

Існує дві категорії наукових видань в Україні. Журнали категорії А, які вважаються найпрестижнішими, вони входять до міжнародних баз даних рецензованої наукової літератури Web of Science чи Scopus. Це означає, що видання пройшло відбір за певними критеріями, і його статті видимі для світової науки.

– Усе більше українських науковців все ж таки переорієнтовуються на публікації в міжнародних виданнях, – каже Денис Курбатов. – Це не завжди можна зробити в гуманітарній сфері, але все одно кількість українських журналів, які індексуються в цих базах, збільшується і зараз таких понад двісті. Хоча ще 5-6 років тому йшлося про тридцять плюс.

Попри це журнали категорії Б залишаються наймасовішою групою. Це українські наукові видання, які входять до Переліку фахових видань України і відповідають вимогам, затвердженим міністерством. Таких журналів близько 1700.

– Це точно забагато, особливо враховуючи те, що в останні десятиліття кількість дослідників в Україні зменшувалась. Потреба в такій кількості видань сумнівна, і забезпечувати їх якість тою кількістю науковців, які є, нереалістично, – визнає він.

Фото: Ольга Сошенко

Аудит, який запустили після ухвалення на початку року нового порядку формування переліку наукових видань, стосується саме другої категорії. Це спроба навести лад в сфері і позбутися журналів, які самі науковці називають “мурзилками”, що систематично порушують редакційну етику. Йдеться в тому числі про те ж формальне рецензування, публікацію статей, які не містять жодного наукового результату. 

Засновники видань мають до кінця квітня подати заявки на включення в перелік. Протягом травня їх перевірятимуть на відповідність формальним вимогам. Потім за оцінювання візьметься Комісія з питань публікаційної етики. В результаті має з’явитися новий рейтинговий список видань. Для всіх, хто не встигне подати заявку, або не пройде відбір, наступне вікно можливостей відкриється тільки через три роки. На цей момент заявки вже подали понад три сотні видань.

Велике прибирання

Ринок уже відреагував на нововведення, варто бодай один раз поцікавитися науковими виданнями і засипле рекламою “встигніть замовити публікацію до реформи, бо з 1 червня 80% журналів припинять існування”. А далі жах – дефіцит, черги, ціни зростуть. Як виглядатиме перезавантаження системи?

Декілька речей ми змінили кардинально, тому не просто так пишуть, що ряд журналів можуть не потрапити в новий перелік. По-перше, запровадили кластери, які відповідають галузям знань, і видання може входити лише до одного кластеру. Бо випускати журнал, який одночасно публікує, умовно, фізику, історію та ІТ, і знаходити на все це відповідні редколегію і рецензентів, які б працювали справді якісно, нереально.

Друге – це бальна система. Для того, щоб потрапити в рейтинг, треба набрати не менше 30 балів за певними критеріями. Що оцінюватиметься? Речі, які важко зімітувати, і які легко перевірити. Насамперед, хто цитує статті, чи цитують їх, наприклад, інші автори з інших університетів, з інших країн, чи здебільшого у виданні займаються самоцитуванням? Чи публікують у журналі статті тільки автори з університету або наукової установи – засновника, чи вони представлені ширшою географією? Чи обліковується журнал в міжнародних базах чи директоріях, зокрема DOAJ (Directory of Open Access Journals – міжнародний мультидисциплінарний каталог журналів відкритого доступу, – LB.ua)? Яка фінансова модель видання – воно безкоштовне чи це бізнес.

Всі якісні світові видання підпорядковуються правилам міжнародного Комітету з етики наукових публікацій. Ці правила також вперше впровадили у національний порядок і тепер Україна має окремий орган – Комісію з публікаційної етики, яка відповідатиме за формування Переліку видань, а також розглядатиме порушення.

Візьмемо для прикладу останній випадок з публікацією вигаданої статті і чим він завершився. Фактично журнал сказав: “Вибачте, ми помилилися, ми відкликаємо статтю”. Формально вони відпрацювали цей кейс і раніше цього було би достатньо. Але по суті подібні ситуації мають розглянути фахівці на відповідність міжнародним стандартам якості оцінювання, чи цей кейс був поодиноким, чи ні, чи є системні порушення в процедурі рецензування та багато інших моментів.

Четверта важлива річ, яка змінилась, – ми перейшли від нескінченного терміну існування журналу в категорії Б до визначеного. Відтепер це три роки. Тобто немає вічних статусів, якість треба підтверджувати.

Що це означає? Не буде ж так, що журнал внесли в перелік і з того моменту він матиме карт-бланш робити, як заманеться на наступні три роки?

Ні. Комісія має повноваження проводити щорічний моніторинг усього переліку, а також закладені, умовно кажучи, рандомні перевірки в середині року або за відповідними зверненнями. Тобто головне, що тепер є цей орган. Ми розуміємо, за якими правилами маємо перевіряти журнали, і ці правила максимально відповідають міжнародним практикам.

А за три роки знову перезавантаження системи?

Я не можу сказати, якою буде історія через три роки. Ми в такі часи живемо, коли не знаєш, що чекати завтра. Але очевидно, що воно буде, можливо за вдосконаленими критеріями, бо життя не стоїть на місці. І загалом світова наукова сфера вже зараз перебуває на межі кардинальних змін у правилах оцінювання досліджень через штучний інтелект, який може згенерувати текст, рецензії, і спробуй зрозуміти, хто їх справжній автор. Це виклик і ми наразі відповіді на нього не даємо і не дає світ, але я переконаний, що доведеться. Тому три роки це, насправді, може і забагато.

Що точно, то той перелік, який з’явиться зараз, – не пожиттєвий.

Напередодні реформи Фейсбук рясніє рекламою, яка спонукає поспішити з публікацією статтей
Напередодні реформи Фейсбук рясніє рекламою, яка спонукає поспішити з публікацією статтей

Є 1700 журналів і є певні можливості команди, яка буде опрацьовувати зараз заявки. Чи вистачить часу і чи немає тут якихось ризиків?

Має вистачити. В цьому контексті варто сказати про ще один запобіжник, який ми закладаємо в нову систему – цифровізація. Всі журнали, всі редколегії будуть вперше реєструватися через Національну електронну інформаційно-наукову систему URIS.

Раніше Міністерство фактично фіксувало перелік фахових видань у вигляді pdf-таблиці. Засновники подавали документи в паперовому вигляді, їх перевіряли, вносили в таблицю, а потім цей перелік оприлюднювали на вебсайті. Зараз ми цю історію кардинально змінюємо. Наприклад, щодо складу редколегії. Відтепер для неї є певні обмеження. По-перше, одна людина не може бути членом більше, ніж трьох редколегій, а головний редактор зможе очолювати не більше двох редколегій. Ми фіксуємо цих людей по їхньому електронному підпису. Тобто науковець власним електронним підписом підтверджує, що справді працює в редколегії певного видання. Це дає можливість ідентифікувати особу, і підтверджує, що то реальна людина (є кейси, коли науковець може і не знати про свою участь у редколегії, особливо це стосується іноземців, – LB.ua). Ти можеш взяти участь ще в двох редколегіях, а далі система просто не пустить. Саме тому цифровізація створює реальні інструменти контролю та верифікації.

І вона важлива з тої точки зору, що верифікація даних, які нам подають, проходитиме автоматично. Ми дивитимемось через певні платформи, як Crossref, чи за допомогою інших інструментів, де є цитування, де і хто публікується. Тобто перевірка буде максимально автоматизованою і ми спеціально підбирали для цього такі критерії. А це в свою чергу має дати змогу нам все вчасно опрацювати.

Тим паче, що подібний досвід вже був. Ми провели державну атестацію наукових установ і університетів. А це 500 установ, 37 індикаторів і загалом 533 тисячі записів у системі. Всі вони були верифіковані. В мене немає сумнівів, що ми і на цей раз впораємось, а перевірка буде максимально критичною і якісною.

Ви кажете, що спеціально підбирали критерії, які важко зімітувати і легко перевірити автоматично. І це більше про кількісні індикатори, а як щодо змістових речей?

Це абсолютно справедливе питання. Має бути баланс між кількісними і якісними вимогами. Кількісні ми можемо перевірити доволі жорстко і системно, якісні перевірити складніше.

Саме для цього у нас і є ця комісія за етики, яка аналізуватиме подібні речі. Ми дивитимемось на бекграунд журналу, чи не було в його минулому сумнівних кейсів, порушень. І знов же потрапляння в рейтинг – це не привід видихнути з полегшенням. Завтра буде випадок з відсутністю рецензування, чи публікацією про неіснуючі матерії, чи продаж місць у складі авторів, буде звернення до міністерства і ми його розглядатимемо. І журнал можуть виключити. Тобто є сподівання, що ми більш прискіпливо перевіримо і цю складову.

До речі, з минулого року, відколи мені довелось очолити цей напрямок в МОН, зокрема організацію роботи атестаційної колегії, ми виключили з переліку приблизно 50 видань. Для порівняння, з 2018 року, мені здається, було виключено лише три журнали. Чому так – не знаю. Можливо, ніхто не повідомляв про порушення, або не в усіх випадках матеріали були достатньо обґрунтованими, а нікому було їх розглядати. Плюс до того за минулий рік ми позбавили 9 людей наукових ступенів. За позаминулий рік нуль. Тобто це теж залежить великою мірою від політичної волі людей, які займаються сферою. У нас така воля є. І ми створюємо систему, щоб така воля була і у тих, хто прийде після нас.

Нещодавно дослідницька група SCImago проаналізувала публікаційні практики університетів, зокрема українських, за певним набором індикаторів. Результати цікаві. Приміром, за їхньою оцінкою, заклади з найвищими ризиками – Національний технічний університет “Дніпровська політехніка”, МАУП, Національний університет імені Ярослава Мудрого. Чи будете враховувати ось такі речі?

Бачив цей матеріал. Це чи не вперше відома міжнародна агенція системно звернула увагу на цей бік діяльності університетів. Ми одразу дали задачу нашим фахівцям проаналізувати, як це можна імплементувати в Україні. Але скажу, що це вже не перший наш досвід. У 2024 році міністерство підписало ліцензійну угоду з американською базою даних хижацьких видань (формально виглядають як академічні, але насправді порушують базові принципи наукової етики, а їхньою метою є заробіток на публікаціях авторів, – LB.ua) Cabell. Ми використовуємо цей перелік і, приміром, для всіх конкурсів міністерства, якщо журнал є в базі, ми підсвічуємо це в системі URIS. Показуємо експерту: зверніть увагу, ось цей журнал в тій базі, до нього є такі-то питання. Чи зараховувати вам цей журнал в цьому проєкті чи ні, вирішувати вам, але інструмент є.

Тобто ми готові сприймати будь-який комплексний цифровий інструмент, просто оцей новий ще не дуже зрозумілий, розбираємось. Бо це не має перетворитися на полювання на відьом. Як у випадку з тим же Cabell, ми виявили точкові кейси, коли насправді практики журналу не були хижацькими, але видання потрапило в ту базу. Тому немає нічого абсолютно ідеального. Ні в Scopus, ні в Cabell, ні в цьому антирейтингу SCImago, ні в порядку фахових видань міністерства. Це просто неможливо. Світ не ідеальний. Але прагнути до ідеалу – задача в тому числі і міністерства, і комісії, і спільноти.

Фото: пресслужба МОН

Загалом, коли працювали над порядком, то які моменти викликали найбільше суперечок?

Багато, майже всі. Приміром, звучало питання, а чому взагалі держава в це втручається. Ми, науковці, ми краще знаємо. Ми зі свого боку наполягали на тому, що видавництво журналу і надання йому статусу фахового – різні речі. Видавайте будь-що, ніхто не забороняє. Але, якщо ви хочете, щоб цей журнал використовували у державних метриках, в атестації кадрів, у присудженні ступенів, ліцензуванні, проєктній діяльності, то тут уже держава надає відповідний статус та має перевіряти якість. І тому ми змінюємо правила. Був опір і до кластерів, і до цифровізації, і до бальної системи. Але найпалкіші дискусії викликало створення комісії з етики, тому що певні “компанії” зрозуміли, що тепер такі речі буде кому оцінювати. І це не просто робоча група, умовно кажучи, імені Курбатова. Це вже нормативна база, наказ, погоджений усіма відповідними державними органами. Тобто жодних питань до легітимності цього органу не виникає.

Такий перелік наукових видань має ж не тільки Україна. Він є в Норвегії, Польщі, Великій Британії. Там інші принципи формування. Норвезький перелік, приміром, складають професійні асоціації – фізична, хімічна, мовознавців тощо. І вони спільнотою визначають, які видання вважати якісними. Чи ми можемо, як країна, сподіватися, що якщо такий перелік створять наші, часто не сформовані або й взагалі відсутні ефективні професійні спільноти, то в них не потраплять сумнівні видання? На жаль, поки що ні. Тому це ще і про формування спільноти, експертності. Дуже важливе і непросте питання.

Мирослава Кругляк, авторка експерименту з публікації вигаданої статті, написала, що одним з рішень могла би бути заборона брати плату за публікації. Чи розглядали ви такий варіант?

Для розуміння. Журнали в світі існують за декількома моделями. Є модель безкоштовного журналу і для авторів, і для читачів, витрати на його видання покриває засновник – університет, асоціація, наукова установа, зі своїх джерел (так званий діамантовий доступ). Або журнал може бути безкоштовним для автора, проте платним для скачування бібліотеками, ресурсами, які оформлюють підписку на видання. Це другий випадок. Третя модель – коли за відкритий доступ сплачує автор. Вона зараз теж поширена, особливо якщо йдеться про видання у форматі повністю відкритого доступу, коли будь-хто може безкоштовно завантажити публікацію. Часто витрати на розміщення таких статей автори сплачують з коштів, залучених на наукові проєкти, щоб власне і забезпечити модель open access.

Ми, до речі, пропонували повністю безкоштовну модель. Але спільнота і редактори все ж таки показали, що це не завжди можливо. Тому ми повністю не змогли відмовитись від моделі платних публікацій. Вочевидь ми не можемо забезпечити роботу 1700 видань з державного бюджету, чи навіть з бюджету університетів, або наукових установ. 

Але модель повністю безкоштовного доступу для авторів та читачів у нашій бальній системі, має найбільшу вагу і оцінку.

З іншого боку, ми в цьому році вперше запровадили фінансову підтримку кращих українських журналів категорії А, які обліковуються в Scopus та Web of Science. Перші 19 видань вже отримують від міністерства на свій розвиток по 350 тис. грн. на рік протягом двох років. Загалом на конкурс подалося біля 80 видань. Я не виключаю, коли ми оновимо перелік, і побачимо якісні журнали категорії Б, то будемо підтримувати і їх.

Системні проблеми

Журнали із сумнівними практиками, публікації заради публікацій – це вже наслідок. І часто можна почути, що сама система і її вимоги так налаштовані, що спонукають до бурхливої імітаційної діяльності. Це питання виникає і при захисті, і при звітності, при акредитації освітніх програм, і в ліцензійних умовах провадження освітньої діяльності. Або навіть якщо людина хоче робити викладацьку кар’єру в університеті, то для певних посад ступінь необхідний, а це знов же статті. Що з цим робити?

Дуже часто коренем проблем зараз називають кількісні вимоги міністерства до публікацій. Але свого часу вони не виникли на порожньому місці. Це ж не просто так колись державі спало на думку, а чи не змусити вчених писати статті, рахувати кількість цитувань. Це вже була відповідь на проблему. Частково вона в тому, що свого часу насправді українська наука, зокрема і через недостатність уваги в економічній політиці і пріоритетах, дещо не туди повернула. Вона почала бути певним “атрибутом”, почали пріоритезуватись суто формальні речі – ступені, звання, нагороди, медалі і так, держава чи певні державні органи напевне сприяли цьому. І на кожній кафедрі перевіряли, скільки ж там людей з науковими ступенями. Це потім посилило імітацію самих досліджень на користь їх похідних. Ми все менше говорили про результати досліджень, про нові методи, теорії, технології, які має створювати наука. І більше про якісь формальні речі і “погони” – доктор, не доктор, академік чи ні. Навіть різні альтернативні академії, типу ГО почали з’являтися, щоб надавати ці статуси.

Простий приклад з нашої теми. Коли ми проводимо різні заходи, наприклад, по комерціалізації досліджень, стартап-руху, проєктам у рамках “Горизонт Європа”, на них реєструється в кращому разі сотня осіб. Коли ми проводили вебінар по нових правилах для фахових видань, то на нього зареєструвалося 1300+ осіб. Тобто це читається так. Є більше тисячі команд науковців/менеджерів у країні, яка воює, які чомусь хочуть займатися саме журналами, які ніяк не фінансує держава, а не дослідженнями і розробками важливими для перемоги чи економіки, які держава зараз доволі добре підтримує (фінансування програми держзамовлення, наприклад, зросло в 10 разів). Це насправді теж певна характеристика частини нашої спільноти, яку треба змінювати.

Ми намагаємось системно виправляти це, але потрібен час. Приміром, якщо брати ту ж атестацію університетів та наукових установ. Ми вперше ввели таке поняття, як імпакт науки. Опишіть, будь ласка, яким науковим результатом ви пишаєтесь як установа за останні п'ять років, які передові дослідження, технології або розробки виконали, де вони використовуються, як це наблизило розв'язання проблем світової науки, економіки, оборони, здоров'я людини тощо.

Фото: з Фейсбук-сторінки НАНЦ України

І за результатами цієї атестації на розподіл додаткового фінансування впливають насправді лише чотири доволі складні в імітації показники. Це залучене зовнішнє фінансування, тобто коли бізнес замовляє дослідження, або партнери надають міжнародні гранти, визнаючи їх якість і потрібність. Далі ми дивимось на частку молоді, яка залишається, і працює в цій установі за основним місцем роботи. Третій параметр – масштаб, скільки всього науковців працює. І тільки на четвертому місці статті, але тільки статті в журналах першого квартилю (в міжнародних наукометричних базах журнали поділяють на 4 групи за впливом, Q1 – найпрестижніші, – LB.ua). І якщо, наприклад, коефіцієнт залученого фінансування становить 0,5, то коефіцієнт публікацій – 0,1. Тобто робимо зараз ставку на вимірювання науки через проєктну діяльність, корисність і впровадження результатів, ефективність міжнародної співпраці. 

Щодо ліцензійних умов, то минулого року ми працювали над їх зміною. Вони якраз вимагали наявності цих знаменитих п’яти статей для підтвердження кваліфікації працівників освітньому компоненту. Ми скоротили цю кількість до однієї, але тоді вона має бути у журналі першого або другого квартиля. Також запропонували альтернативи публікаціям. Приміром, покажи проєкт “Горизонт”, в якому ти учасник, керівник або автор, або якийсь інший проєкт, який фінансує Європейська комісія або НАТО, наприклад. Ці зміни нарешті погоджені, сподіваємося, що найближчим часом уряд їх ухвалить.

Паралельно працюємо з НАЗЯВО, яка займається акредитацією освітніх програм. У них теж є певні вимоги до наукової складової, які потрібно значно оновити, особливо з урахуванням державної атестації. І ми будемо намагатись перевести їх все ж таки в бік зменшення кількості і збільшення якості. 

Загалом важливо побудувати в країні єдину цілісну систему оцінювання науки. 

Щоб ми не говорили про те, що, умовно, НАЗЯВО в науці оцінює одне, при ліцензуванні оцінюють друге, в науковій сфері третє, а ще є наприклад Держстат, який оцінює четверте.

З іншого боку, залишається заохочення з боку держави у вигляді, приміром, надбавок за ступені. Ті ж судді отримують 15-25% до посадового окладу за кандидата (доктора філософії) або доктора наук. І кожен п’ятий має ступінь. Зараз вийшло цікаве розслідування NGL.media на цю тему.

Це теж один з коренів проблеми. Наскільки мені відомо, держслужбовці не отримують надбавку за це, здається, з 2016 року. В тому ж МОН ніхто не отримує надбавку, хоча працюють десятки людей з науковими ступенями, і напевне в цьому є логіка, адже це адміністративна робота. А от судді – так. Там це питання існує.

Ми підтримуємо, до речі, ідею про те, щоб перевести надбавки за ступені, звання, в еквівалент збільшення окладу і ставки на державному рівні, а також виплачувати їх лише тим, хто здійснює справжню дослідницьку роботу. Заклади в подальшому зможуть також підтримувати науковців додатково, в межах своєї автономії, якщо хочуть окремо відзначити кращих. Це зніме певний тиск на систему. Але водночас це точно не змінить ситуацію, приміром, у медичній сфері. Там держава не платить якомусь лікарю, який займається приватною практикою, має власну клініку і табличку “кандидат” або “доктор медичних наук”, і його цінник одразу зростає на певний відсоток. Це вже має суспільство відреагувати на якість медичних послуг, порівняти їх у кандидата наук, доктора наук, і звичайного практикуючого лікаря, який має результати. Мені здається, що подібні міфи щодо різниці в якості породжує само суспільство. І тут держава, насправді, мало що може зробити, лише час і критичне мислення.

Рішення про не включення в рейтинг засновники видань можуть оскаржити. Чи не вийде ситуація як з плагіатом в дисертаціях, коли рішення про позбавлення ступенів успішно оскаржують у судах?

Цього не можна виключати. Але, по-перше, судовий процес – це процес, треба докази, аргументи, час. І в будь-якому разі ми не готуємось їх програвати, збиратимемо ґрунтовну доказову базу. По-друге, давайте відійдемо від цього і все ж таки повернемось до суті. Це має відсікатися самою спільнотою. Тобто науковцю має бути соромно і неприйнятно публікуватися у виданні, яке спочатку вдається до сумнівних практик, а потім доводить в суді, що, насправді, воно просто “помилилося” чи щось таке.

Фото: nuaka.gov.ua

Що для вас буде показником того, що реформа рухається в правильному руслі?

Це цікаве питання. Напевне перехід більшості журналів категорії Б в категорію А, які індексуються Scopus, WoS. А цей перелік просто перестане існувати. Оце і буде показником ефективності реформи. Звісно, в міжнародних базах теж свої проблеми, не треба їх ідеалізувати. Але все ж таки уваги і механізмів контролю там суттєво більше, ніж у будь-яких національних метриках.

Олена СтрукОлена Струк, кореспондентка LB.ua