Інженер Anthropic розробляє інфраструктуру для перевірки роботи Claude

Інженер Anthropic Гурміт Саран розробляє інфраструктуру, що має допомогти дослідникам відстежувати роботу ШІ-агента Claude та забезпечувати надійність його відповідей. Фахівець працює в компанії у Сан-Франциско з 2025 року, повідомляє IEEE Spectrum.

За словами Сарана, його завдання полягає у тому, щоб дані були точними, структурованими й надійними, а приватні відомості залишалися захищеними. Він наголосив, що конфіденційність не можна додати до програмного забезпечення вже після його створення — вона має бути складовою архітектури від початку.

Спостереження за діями ШІ

Саран зазначив, що за великими мовними моделями складніше спостерігати, ніж за базами даних або вебсервісами. Для ШІ-агентів необхідно фіксувати послідовність дій системи, дані, на яких вона ґрунтувалася, а також відповідність результатів очікуванням користувача. Водночас ці процеси мають не розкривати персональну інформацію.

«ШІ-агентів особливо складно спостерігати», — сказав інженер. На його думку, створення систем ШІ, які можна повноцінно перевіряти та аналізувати, стане одним із важливих інженерних завдань наступного десятиліття.

Досвід у роботі з даними

До Anthropic Саран працював у Yahoo, Intuit, Meta та Wealthfront. У Yahoo він із командою створив внутрішній інструмент вебаналітики Yahoo! Digits і модель єдиних визначень метрик, щоб різні команди однаково обчислювали показники на кшталт кількості щоденних активних користувачів.

В Intuit він допомагав будувати аналітичну інфраструктуру для продуктів TurboTax і QuickBooks, зокрема в умовах вимог до захисту даних платників податків. У Meta Саран працював над системою Metric360, яка визначала єдині правила розрахунку показників переглядів відео. Він залишив Meta у 2021 році та перейшов до Wealthfront, де розвивав інфраструктуру даних фінансової компанії.

Стандарти для інфраструктури ШІ

Саран також вважає, що IEEE може впливати на розвиток ШІ через розроблення стандартів. Він приєднався до організації у березні 2025 року, пояснивши це бажанням долучатися до рецензування, публікацій і ширшої інженерної дослідницької спільноти. На його думку, інфраструктура штучного інтелекту потребує стандартів, подібних до тих, що застосовують у будівництві та тестуванні програмного забезпечення.