У ваги мовної моделі інтегрували 32-бітний процесор RISC-V

У ваги мовної моделі інтегрували 32-бітний процесор RISC-V

У ваги Qwen 3.5 4B інтегрували 32-бітний RISC-V, який виконує код C і MicroPython та запускає Doom.

Інженер з ШІ Дів’янш Агравал представив експериментальну модель Qwenputer, у якій 32-бітний процесор архітектури RISC-V скомпільовано та вбудовано безпосередньо у ваги мовної моделі Qwen 3.5 4B. Як повідомляє Tom's Hardware, система здатна виконувати арифметичні операції, запускати програми мовами C і MicroPython, а також гру Doom, хоча й повільно.

 

Процесор у структурі моделі

 

Реалізація не потребувала навчання нових ваг. За описом проєкту, перед власними шарами Qwen додали 11 трансформерних шарів, а всі їхні ваги були обчислені компілятором, а не отримані під час тренування. Агравал заявив, що вбудований процесор проходить офіційні тести riscv-tests, його результати виконання програм збігаються з емулятором QEMU, а система виконала 18 мільйонів інструкцій поспіль без помилки.

Для оперативної пам’яті Qwenputer використовує стан Gated DeltaNet у Qwen. Розробник назвав це використанням «швидких ваг» як RAM. Завдяки процесору модель може виконувати точні обчислення, компенсуючи типову слабкість багатьох великих мовних моделей в арифметиці, а також записувати інструкції до внутрішнього процесора й зчитувати результат без зовнішніх інструментів або середовища виконання.

 

Файлова система та вимоги

 

Агравал також додав до моделі файлову систему. Вона використовує той самий стан DeltaNet, має 1024 комірки та підтримує до 512 файлів. Дані можуть зберігатися між сеансами, якщо наприкінці розмови з моделлю зберегти її стан.

Водночас модифікація суттєво збільшила обсяг моделі: її розмір майже подвоївся до приблизно 19 ГБ. Для тестування поточної версії Qwenputer розробник рекомендує робочу станцію з відеопам’яттю обсягом від 24 ГБ. Проєкт має експериментальний статус; його код поширюється за ліцензією MIT, а модель доступна для завантаження на Hugging Face.