OpenAI, Google, Microsoft і Anthropic підтримали відмову від ШІ-скрейпінгу

OpenAI, Google, Microsoft і Anthropic погодилися підтримати спільний сигнал у файлі robots.txt, за допомогою якого власники сайтів можуть заборонити ШІ-ботам використовувати вміст ресурсів для навчання моделей. Про це повідомляє TechRadar.

Файл robots.txt розміщують у кореневому каталозі сайту. Він містить вказівки для ботів, зокрема допомагає пошуковим сканерам орієнтуватися на ресурсі та може обмежувати навантаження на сервер через автоматизовані запити.

Як працює заборона

Щоб заблокувати доступ ШІ-сканерів, власник сайту може додати до robots.txt відповідний розділ і правило Disallow: /. Воно забороняє обхід усього сайту. Для обмеження роботи конкретного бота можна вказати його назву, наприклад ChatGPT-User, а нижче додати правило заборони.

Також можна закрити для ШІ-сканерів окремі сторінки або розділи, зазначивши шлях до них після символу «/». Водночас цей механізм діє лише щодо ботів, які дотримуються правил robots.txt. OpenAI заявила, що заохочує інших розробників ШІ виконувати цей сигнал.

Інші способи обмежень

Серед інших способів протидії автоматизованому збору даних видання називає доступ до контенту лише після створення облікового запису та обмеження запитів з окремих IP-адрес. Вхід за обліковим записом може відсіювати частину ботів, але водночас створює додаткову перешкоду для звичайних відвідувачів, які не хочуть реєструватися.

Обмеження за IP-адресами можуть встановлювати таймери для адрес, з яких надходить підозріло інтенсивний автоматизований трафік. Такі інструменти пропонують сторонні сервіси, однак їхнє використання може потребувати витрат.