Google, Microsoft, OpenAI та Anthropic підтримали спільний сигнал для ШІ

Google, Microsoft, OpenAI та Anthropic заявили, що враховуватимуть спільний запис у файлі robots.txt, за допомогою якого власники сайтів зможуть заборонити використання свого контенту для навчання генеративних моделей штучного інтелекту. Новий механізм має замінити окремі правила для ботів кожної компанії одним уніфікованим сигналом.

Про це повідомляє TechRadar. Сигнал використовує токен usage ai-training у рядку User-Agent звичайного файлу robots.txt. Він визначає умови використання матеріалів, а не доступ ботів до сторінок.

Не заборона на сканування

Новий запис не зупинятиме сканування сайтів. Боти й надалі зможуть завантажувати сторінки, однак компанії, які підтримають правило, мають не використовувати цей контент для навчання моделей. Щоб обмежити сам доступ ботів, власникам сайтів усе одно потрібно буде застосовувати наявні правила для конкретних краулерів.

Проєкт прямо зазначає, що цей токен не є директивою щодо поведінки під час сканування. Він також не поширюється на дані, які компанії вже зібрали раніше. Дотримання механізму є добровільним, а приватні угоди можуть мати пріоритет над таким сигналом.

Строки впровадження

Anthropic повідомила, що вже почала впроваджувати підтримку правила. OpenAI планує реалізувати її протягом найближчих місяців, не назвавши точної дати. Microsoft має почати враховувати спільну перевагу під час сканування з 1 лютого 2027 року, а Google орієнтується на 2027 рік.

Механізм описано в індивідуальному Internet-Draft, опублікованому Кевіном Келлі з Anthropic у межах роботи Internet Engineering Task Force. Документ не є затвердженим стандартом IETF і втратить чинність 3 травня 2027 року, якщо його не оновлять. Робоча група IETF AI Preferences визначає навчання як зміну засвоєних параметрів генеративної моделі, не включаючи моделі, що застосовуються лише для класифікації або ранжування.

Google планує тлумачити спільний сигнал як заборону для Google-Extended, якщо сайт окремо не вкаже інше. Microsoft, зі свого боку, додає окреме налаштування AI Grounding на рівні сторінки для контролю використання контенту в сервісах на кшталт Copilot. Meta підтримала ідею спільного сигналу, але не зобов’язалася його виконувати.