PS4 jeszcze nie umarło! To potężne narzędzie odpalisz na starej konsoli Sony

Technologie
30V
PS4 / PlayStation 4 / konsola / Sony
Łukasz Musialik | Dzisiaj, 15:25
Google Chcesz częściej widzieć nasze treści w Google? Dodaj do źródeł

Uruchamianie współczesnych modeli językowych przestało być domeną ekstremalnie drogich komputerów. Leonardo Alegría brutalnie zweryfikował możliwości przestarzałego sprzętu.

Programista z sukcesem uruchomił potężny model Qwen3.5-9B bezpośrednio na podstawowej wersji PlayStation 4 z 2013 roku. Całość operuje na natywnym kodzie. Aplikacja Garlic LLM to oprogramowanie typu open-source. Skrypt przetwarza zlecenia bez użycia zewnętrznego peceta czy instalacji zewnętrznego środowiska Linux.

Dalsza część tekstu pod wideo

Sukces eksperymentu opiera się na bezwzględnej optymalizacji. Alegría napisał niestandardowe jądra graficzne w języku OpenCL C pod archaiczną architekturę AMD GCN. Ominięto całkowicie standardowe sterowniki systemowe. Komunikacja z układem graficznym przebiega przez ręcznie skonstruowane bufory poleceń PM4. Architektura PS4 dysponuje pulą zaledwie 8 GB współdzielonej pamięci GDDR5. Algorytmy wymusiły drastyczną kwantyzację bazy ważącej 9 miliardów parametrów. Rozmiar modelu zredukowano do 4,5 GB.

Model pracuje obecnie z 4-bitową precyzją. Duże macierze MLP poddano jeszcze surowszej, 3-bitowej kompresji. Pamięć podręczna KV zachowała twardy format 4-bitowy. Garlic LLM utrzymuje stabilne okno kontekstowe o rozmiarze 16 tysięcy tokenów. Aktywacja dekodowania drastycznie podniosła prędkość generowania tekstu z 22 do nawet 43 tokenów na sekundę przy zadaniach programistycznych. A wszystko to możecie mieć na swojej leciwej PS4 - projekt i instrukcje znajdziecie w tym miejscu.

Google Chcesz częściej widzieć nasze treści w Google? Dodaj do źródeł
Źródło: uggingface.co

Komentarze (0)

SORTUJ OD: Najnowszych / Najstarszych / Popularnych

cropper