Tiny Corp представила ШІ-станцію за 30 тисяч доларів із 16 ТБ SSD

Tiny Corp представила настільну ШІ-станцію tinybox Red Kimi вартістю 30 тисяч доларів. Комп’ютер оснащений чотирма відеокартами AMD Radeon AI Pro R9700 із сукупними 128 ГБ пам’яті GDDR6 та масивом із 16 NVMe-накопичувачів по 1 ТБ. Систему позиціонують для локального запуску мовної моделі Kimi K3 від Moonshot AI, що має 2,8 трлн параметрів.

Про характеристики пристрою повідомляє TechRadar. Станцію побудовано на платформі Tiny Corp G5 із 32-ядерним процесором AMD Epyc Genoa та 32 ГБ оперативної пам’яті DDR5.

SSD замість великого обсягу DRAM

Ключовою особливістю tinybox Red Kimi є RAID-масив із 16 SSD, для якого заявлена пропускна здатність 238,4 ГБ/с. Tiny Corp стверджує, що драйвер у програмному забезпеченні tinygrad дає графічним процесорам AMD змогу напряму керувати NVMe-накопичувачами, не передаючи кожне звернення до даних через центральний процесор.

За даними видання, опублікована версія Kimi K3 у форматі MXFP4 займає приблизно 1,56 ТБ. Пам’ять чотирьох відеокарт може вмістити близько 8% моделі, тому решту ваг пропонується зберігати на флешнакопичувачах. Kimi K3 є моделлю типу mixture-of-experts: під час генерації одного токена вона активує 16 із 896 спеціалізованих експертів, а також два спільні.

Заявлена швидкість потребує перевірки

Tiny Corp заявляє про швидкість до 40 токенів за секунду під час роботи з Kimi K3. Водночас незалежних тестів цього показника наразі немає. TechRadar зазначає, що за нативного формату MXFP4 для кожного токена потрібно щонайменше 55 ГБ ваг, тоді як SSD-масив теоретично забезпечив би близько чотирьох токенів за секунду, якби всі дані читалися лише з накопичувачів.

Для досягнення заявленої швидкості система має переважно використовувати кешування ваг у відеопам’яті або інші методи оптимізації. Компанія не оприлюднила параметри точності обчислень, довжину контексту, розмір пакета чи конкретний метод, за яким отримала показник у 40 токенів за секунду.