PS4 jeszcze nie umarło! To potężne narzędzie odpalisz na starej konsoli Sony
Uruchamianie współczesnych modeli językowych przestało być domeną ekstremalnie drogich komputerów. Leonardo Alegría brutalnie zweryfikował możliwości przestarzałego sprzętu.
Programista z sukcesem uruchomił potężny model Qwen3.5-9B bezpośrednio na podstawowej wersji PlayStation 4 z 2013 roku. Całość operuje na natywnym kodzie. Aplikacja Garlic LLM to oprogramowanie typu open-source. Skrypt przetwarza zlecenia bez użycia zewnętrznego peceta czy instalacji zewnętrznego środowiska Linux.
Sukces eksperymentu opiera się na bezwzględnej optymalizacji. Alegría napisał niestandardowe jądra graficzne w języku OpenCL C pod archaiczną architekturę AMD GCN. Ominięto całkowicie standardowe sterowniki systemowe. Komunikacja z układem graficznym przebiega przez ręcznie skonstruowane bufory poleceń PM4. Architektura PS4 dysponuje pulą zaledwie 8 GB współdzielonej pamięci GDDR5. Algorytmy wymusiły drastyczną kwantyzację bazy ważącej 9 miliardów parametrów. Rozmiar modelu zredukowano do 4,5 GB.
Model pracuje obecnie z 4-bitową precyzją. Duże macierze MLP poddano jeszcze surowszej, 3-bitowej kompresji. Pamięć podręczna KV zachowała twardy format 4-bitowy. Garlic LLM utrzymuje stabilne okno kontekstowe o rozmiarze 16 tysięcy tokenów. Aktywacja dekodowania drastycznie podniosła prędkość generowania tekstu z 22 do nawet 43 tokenów na sekundę przy zadaniach programistycznych. A wszystko to możecie mieć na swojej leciwej PS4 - projekt i instrukcje znajdziecie w tym miejscu.