Дослідники створили інструмент для виявлення ідей, згенерованих ШІ

Дослідники представили інструмент IdeaLens, який має відрізняти ідеї, створені людиною, від концепцій, згенерованих штучним інтелектом у наукових роботах. Система аналізує не стиль написання, а структуру викладу та логіку аргументації. Про розробку повідомляє Nature.

Автори препринту зазначають, що конференції та наукові журнали дедалі частіше стикаються зі штучно згенерованим контентом. Співавтор роботи, фахівець з комп’ютерних наук Університету Меріленду в Коледж-Парку Рішант Раджендран вважає, що використання ШІ для написання наукових статей стає прийнятнішим, якщо основна ідея належить самому досліднику.

Аналіз структури замість стилю

Спочатку IdeaLens перетворює текст, зокрема наукову статтю, на стислий структурний план, вилучаючи особливості стилю. Потім система шукає закономірності, характерні для ідей, сформованих людиною або ШІ: зокрема спосіб побудови аргументів і послідовність викладу.

Під час тестування інструмент розпізнавав ідеї, що походили від штучного інтелекту, у 91% випадків. Раджендран пов’язує можливість такого аналізу з попередніми висновками команди: людські історії структурно відрізняються від текстів, створених ШІ, а різні чат-боти під час написання есе часто використовують подібні аргументи.

Застереження щодо застосування

Фахівець з комп’ютерних наук Cornell Tech Ніхіл Гарг назвав результат вражаючим, зазначивши, що система здатна виявляти аргументи, створені ШІ, лише за їхнім планом. Водночас він застеріг від використання IdeaLens для визначення людського авторства в окремих випадках, оскільки інструмент може помилятися.

За словами Гарга, точність детектора також може знижуватися, якщо його застосовувати до даних, що відрізняються від використаних під час навчання. Ознака, яку система вважатиме характерною для ШІ в одній сфері, в іншій може бути рисою якісного людського письма.