Microsoft opracował narzędzia do uruchamiania modeli CUDA na GPU AMD - to cios w dominację NVIDIA
Według nowych informacji, Microsoft stworzył zestaw narzędzi pozwalających na uruchamianie modeli napisanych w CUDA na kartach graficznych AMD, co może znacząco osłabić monopol NVIDIA w dziedzinie obliczeń AI. Zastosowanie tego rozwiązania ma pozwolić firmie na obniżenie kosztów inferencji - kluczowego etapu pracy modeli sztucznej inteligencji.
Dominacja NVIDIA w sektorze AI wynika głównie z potęgi jej oprogramowania, czyli rdzeni CUDA, które przez lata stały się branżowym standardem. Choć konkurenci, tacy jak AMD, oferują własne rozwiązania (np. ROCm), to dotąd nie powstało narzędzie zdolne realnie przełamać tę przewagę. Teraz jednak, jak ujawnił jeden z wysokich rangą pracowników Microsoftu, firma opracowała toolkity pozwalające tłumaczyć kod CUDA na kompatybilny z ROCm, co umożliwia uruchamianie modeli AI bez konieczności ich ponownego pisania od zera.
Microsoft miał wykorzystać podobny mechanizm jak w przypadku istniejących już rozwiązań typu ZLUDA, które działają jako warstwa zgodności w czasie rzeczywistym - przechwytują wywołania API CUDA i tłumaczą je na instrukcje rozumiane przez GPU AMD. Dzięki temu możliwe jest uruchamianie modeli opartych na CUDA bez pełnej rekompilacji kodu.
Jak przyznał cytowany pracownik:
Zbudowaliśmy zestaw narzędzi, które pozwalają konwertować modele CUDA na ROCm, dzięki czemu można je uruchamiać na GPU AMD, jak np. 300X. Współpracujemy z AMD nad rozwojem obsługi układów 400X i 450X, by maksymalnie wykorzystać ich potencjał.
Choć samo ROCm wciąż uznawane jest za mniej dojrzałe środowisko niż CUDA, a niektóre funkcje mogą nie mieć bezpośrednich odpowiedników, to dla Microsoftu gra jest warta świeczki. Firma obserwuje ogromny wzrost zapotrzebowania na obliczenia inferencyjne, które są mniej wymagające niż trening modeli, ale pochłaniają ogromne zasoby GPU. Ponieważ karty NVIDIA są bardzo drogie, Microsoft chce dywersyfikować swoje zaplecze sprzętowe w chmurze Azure, korzystając z tańszych rozwiązań AMD.
Jeśli testy zakończą się sukcesem, nowy system tłumaczenia CUDA na ROCm może znacząco obniżyć koszty utrzymania infrastruktury AI i zwiększyć konkurencyjność AMD na rynku, który dotąd był niemal całkowicie zdominowany przez NVIDIA.
