PS5LM Plus позволява на хакната PlayStation 5 да изпълнява големи езикови модели директно на конзолата, използвайки нейния графичен процесор за ускорение.
Разработчикът abhi245y е създал приложението PS5LM Plus, което надгражда първоначалния PS5LM и пренася тежките изчисления от централния процесор към GPU на конзолата, за да постигне реалистично генериране на отговори от големи модели.
Технически промени и повече памет
За подобряване на производителността е портнат драйверът AMD RADV от проекта Mesa и е адаптиран ‘llama.cpp’ за работа чрез Vulkan. В резултат достъпната памет за моделите е увеличена от приблизително 6 GB на 11,4 GB.
Паметната пропускателна способност на системата е 448 GB/s, което позволява по-интензивно използване на графичния ускорител при изпълнение на моделите.
Производителност и ограничения
При тестове моделът Qwen3.8-27B достига скорост 20,9 токена в секунда; в същия контекст модел с 27 милиарда параметъра е посочен и със стойност около 21 токена в секунда. По време на изпълнение натоварването на графичния процесор достига 100%, докато централният процесор остава натоварен едва около 2%.
По-малки модели работят значително по-бързо: Gemma 4 E4B генерира около 61 токена в секунда, а Llama 3.2 3B достига 124 токена в секунда.
PS5LM Plus предлага уеб интерфейс за взаимодействие с модела и предоставя API през локалната мрежа на порт 8081. Поддръжката на интерфейси, съвместими с OpenAI и Anthropic, позволява използване на инструменти като OpenCode, Codex и Claude Code към конзолата.
Възможностите на системата обаче остават ограничени от наличните 16 GB RAM, а стартирането на приложението изисква конзолата да бъде хакната — процес, който може да доведе до блокиране на устройството или на акаунта в PlayStation Network.
КОМЕНТАРИ (0)