Стартап Corbenic представив систему збереження ШІ-кешу на SSD
Corbenic AI представив Galahad для збереження KV-кешу мовних моделей на NVMe SSD, але заявлене прискорення залежить і від пошуку тексту
Бельгійський стартап Corbenic AI запустив бета-версію Galahad — програмного рішення, яке зберігає KV-кеш мовної моделі на зашифрованому локальному NVMe-накопичувачі. Це має дозволити серверу не обчислювати повторно стан моделі для тексту, який уже оброблявся, після очищення пам’яті GPU або перезапуску процесу.
Як повідомляє TechRadar, Galahad підтримує vLLM, SGLang і Llama.cpp. Компонент Taliesin записує стан блоків тексту на диск, прив’язуючи його до точних байтів вхідного тексту, моделі та ідентифікатора клієнта. Якщо перевірка збереженого запису не проходить, система має повторно виконати обчислення, а не використати потенційно некоректний кеш.
Швидкодію пов’язують не лише з кешем
Засновник і генеральний директор Corbenic Сітсе Схелпе заявив, що рішення не потребує спеціалізованого обладнання: достатньо Linux-сервера з GPU Nvidia та стандартного NVMe SSD. За його словами, завантаження збереженого стану з швидкого накопичувача відбувається значно швидше, ніж повторна обробка всього тексту на GPU. Компанія також не зберігає короткі тексти, для яких повторне обчислення є швидким, а мережеві сховища вважає повільнішими за локальний NVMe.
Corbenic заявляє про прискорення до 14 разів, однак у статті зазначено, що цей показник отримали в тесті з використанням не тільки Taliesin, а й другого компонента Blaise. Він відбирає для моделі релевантний уривок документа: у тесті модель отримувала приблизно 668 токенів замість корпусу обсягом 96 726 токенів. У самій роботі Corbenic Blaise пов’язують зі зростанням приросту швидкодії для Llama.cpp з 3,1 до 14,5 раза.
Водночас у наведених вимірюваннях Taliesin без Blaise не прискорив vLLM та SGLang: для vLLM час становив 15,56 секунди проти 8,11 секунди в базовому варіанті, а для SGLang — 22,02 секунди проти 10,29 секунди. Лише Llama.cpp у цьому порівнянні показав швидший результат — 3,01 секунди проти 9,25 секунди.
Конкуренція та безпека даних
Технології перенесення KV-кешу за межі пам’яті GPU вже пропонують інші розробники. Зокрема, проєкт LMCache працює з пам’яттю CPU, локальними SSD та віддаленим сховищем; Nvidia Dynamo передбачає рівні кешу від GPU і оперативної пам’яті до локального NVMe та мережевого зберігання. Подібні продукти також мають WEKA, Huawei і Phison.
Corbenic позиціонує Galahad як рішення з точним повторним використанням кешу та ізоляцією даних клієнтів. У компанії заявляють, що кеш шифрується, а бібліотека не запускається без ідентифікатора клієнта та відбитка моделі. Це пов’язано з ризиками витоку запитів через спільний KV-кеш: дослідники на NDSS 2025 показали, що механізми кешування у vLLM і SGLang можуть створювати побічний канал через вимірювання часу відповіді.
Основні результати Galahad опубліковані як препринти на arXiv, а експерименти, за даними статті, засновник проводив на орендованих хмарних GPU. Сирі журнали тестів компанія обіцяє оприлюднити пізніше, а метод відбору тексту Blaise не розкриває, посилаючись на патентні плани.
