Najmniejszy superkomputer świata mieści się w dłoni. Tiiny AI Pocket Lab zawstydza potężne stacje robocze
Podczas gdy giganci technologiczni ścigają się na coraz większe i bardziej prądożerne karty graficzne, pewien startup postanowił pójść w zupełnie innym kierunku. Poznajcie Tiiny AI Pocket Lab – urządzenie, które waży tyle, co dwa smartfony, a potrafi obsłużyć modele sztucznej inteligencji, do których zazwyczaj potrzeba serwerowni lub sprzętu za tysiące dolarów. To kieszonkowe monstrum ma na pokładzie aż 80 GB pamięci RAM i obiecuje rewolucję w lokalnym przetwarzaniu danych.
Przetwarzanie sztucznej inteligencji lokalnie na urządzeniu użytkownika, to jeden z najgorętszych trendów ostatnich miesięcy. Pozwala to na zachowanie prywatności i niezależność od chmury, ale zazwyczaj wiąże się z ogromnymi kosztami sprzętowymi. Rozwiązania takie jak stacje NVIDIA DGX potrafią kosztować krocie, będąc poza zasięgiem przeciętnego entuzjasty. Startup Tiiny AI rzuca wyzwanie temu status quo, prezentując "najmniejszy superkomputer świata". Urządzenie o wymiarach zaledwie 14,2 x 8 x 2,53 cm i wadze 300 gramów ma umożliwić uruchamianie modeli językowych o wielkości 120 miliardów parametrów (120B) wprost z naszej kieszeni. To osiągnięcie, które na papierze wygląda na niemożliwe, staje się faktem dzięki sprytnej inżynierii.
Sercem tego maleństwa jest 12-rdzeniowy procesor oparty na architekturze ARMv9.2, wspierany przez autorski, heterogeniczny moduł obliczeniowy łączący układ SoC z dedykowaną jednostką NPU. Całość generuje moc obliczeniową na poziomie około 190 TOPS. Jednak kluczem do sukcesu jest tutaj pamięć. Tiiny AI Pocket Lab wyposażono w imponujące 80 GB pamięci LPDDR5X. To właśnie ta ogromna ilość pamięci operacyjnej pozwala na załadowanie potężnych modeli językowych, takich jak Llama czy Mistral, i przeprowadzanie na nich wnioskowania bez konieczności łączenia się z internetem. Co więcej, urządzenie charakteryzuje się niesamowitą efektywnością energetyczną – jego typowy pobór mocy to zaledwie 65 watów.
Aby "upchnąć" taką wydajność w tak małej obudowie, inżynierowie zastosowali dwa kluczowe rozwiązania programowe: TurboSparse oraz PowerInfer. Pierwsza technologia to metoda rzadkiej aktywacji na poziomie neuronów, która drastycznie zwiększa efektywność wnioskowania bez utraty "inteligencji" modelu. Druga to silnik, który dynamicznie rozdziela obciążenie między procesor a jednostkę NPU, pozwalając osiągnąć wydajność klasy serwerowej przy ułamku zużycia energii. Sprzęt zostanie oficjalnie zaprezentowany na targach CES 2026. Jeśli deklaracje producenta się potwierdzą, możemy być świadkami małej rewolucji, która pozwoli badaczom i pasjonatom na swobodne eksperymentowanie z zaawansowaną sztuczną inteligencją bez konieczności budowania w domu małej elektrowni.
