Експеримент IEEE виявив слабкі місця у наукових статтях, створених ШІ
IEEE Access відхилив дві статті, створені ШІ в межах експерименту: одну через вигадані посилання, іншу — через препринти.
Журналіст IEEE Spectrum Бенджамін Скус створив дві наукові статті за допомогою штучного інтелекту та подав їх на перевірку до журналу IEEE Access. Обидві роботи не прийняли до публікації: першу відхилили через вигадані й неперевірювані посилання, другу — через надмірне використання препринтів, які не пройшли рецензування.
Як повідомляє IEEE Spectrum, експеримент мав перевірити, чи може людина без спеціальних навичок роботи з ШІ підготувати переконливу статтю про дослідження, якого насправді не проводили, а також чи здатні видавничі перевірки виявити такий матеріал.
Вигадані посилання викрили першу статтю
Для першої роботи Скус використав безкоштовні версії ChatGPT і Gemini. Він обрав тему оптичних солітонів — світлових імпульсів, які поширюються без зміни форми, — та поетапно доручив моделям підготувати анотацію, вступ, методику, ілюстрації, підписи й список літератури. У підсумку вийшла стаття, що описувала дослідження, яке не відбувалося.
Автоматичні системи перевірки IEEE Access виявили в ній так звані «примарні цитати». Інструмент STM Integrity Hub знайшов 12 проблемних посилань, а система MolecularConnections не змогла підтвердити 24 джерела. Керівна редакторка IEEE Access Дженні Махоні зазначила, що сам текст не містив очевидних серйозних наукових помилок для неспеціаліста, однак велика кількість вигаданих посилань поставила під сумнів усю роботу.
Експерт з оптичних солітонів Гаетано Ассанто вважав текст професійно написаним, проте звернув увагу на надмірну кількість абревіатур в анотації та кілька категоричних фізичних тверджень, які, за його оцінкою, можна поставити під сумнів.
Автономна система провела обчислювальний експеримент
Другу статтю автор створив через Fully Automated Research System, або FARS, розроблену сінгапурським стартапом Analemma. Система за 21 хвилину підготувала дослідницьку пропозицію на основі огляду літератури, після чого виконала обчислювальний експеримент. Наступного дня автор отримав повідомлення про завершення роботи, а ще за дві години FARS згенерувала готовий до подання рукопис.
У цій статті посилання були реальними, але значна їх частина вела на препринти. У IEEE Access це визнали підставою для відхилення, оскільки такі роботи ще не пройшли наукового рецензування. Махоні також помітила в ілюстраціях ознаки генерації: на одній схемі був беззмістовний напис «lhewl», на іншій — випадкові точки у зображенні ШІ-«мозку».
За даними видання, IEEE Access щороку отримує близько 60 тисяч рукописів і приймає приблизно 20% із них. Кожну прийняту статтю оцінюють щонайменше два незалежні рецензенти. Водночас середня кількість запрошень, які редакція надсилає для пошуку рецензента на одну статтю, зросла на 50% від 2018 року.
