NVIDIA twierdzi, że rynek CPU poszedł za daleko w jedną stronę. AI ma teraz odwrócić ten trend
Przez ostatnie lata producenci procesorów serwerowych ścigali się głównie na liczbę rdzeni i całkowitą przepustowość. Według zespołu odpowiedzialnego za NVIDIA Vera miało to jednak swoją cenę - spadek znaczenia wydajności jednego wątku. AI ma teraz sprawić, że ten kierunek zacznie się zmieniać.
NVIDIA przedstawiła dość ciekawą interpretację rozwoju procesorów serwerowych. Na początku poprzedniej dekady liczyła się przede wszystkim wysoka wydajność pojedynczego rdzenia. Firma jako przykład podaje czasy Intela Haswell, gdy procesory miały znacznie mniej rdzeni niż dzisiejsze konstrukcje, ale projektowano je z dużym naciskiem na IPC i wysokie taktowanie.
Rozwój ogromnych centrów danych całkowicie zmienił priorytety. Operatorzy chmury chcieli upakować jak najwięcej mocy obliczeniowej w pojedynczym serwerze, dlatego zaczęła rosnąć liczba rdzeni, a coraz większą rolę odegrały konstrukcje chipletowe. Według zespołu Vera właśnie tutaj pojawił się kompromis. NVIDIA uważa, że pogoń za liczbą rdzeni i przepustowością odbywała się częściowo kosztem wydajności jednego wątku oraz IPC. Firma podkreśla przy tym, że jest to efekt określonych decyzji projektowych i ograniczeń powierzchni krzemu, a nie wada każdej architektury chipletowej jako takiej.
Teraz sytuację ma zmieniać AI. Agent nie wykonuje jednego dużego zadania na GPU i nie kończy pracy. Zamiast tego cały czas przeskakuje pomiędzy etapami rozumowania wykonywanymi na akceleratorze i sekwencyjnymi zadaniami realizowanymi przez CPU - może uruchamiać kod, wywoływać narzędzia, przetwarzać pliki czy wykonywać kolejne instrukcje. Dla NVIDIA ma to ogromne znaczenie, bo GPU pozostaje najdroższym elementem całej infrastruktury. Jeżeli CPU zbyt długo wykonuje swoją część zadania, akcelerator czeka bezczynnie. Procesor musi więc jak najszybciej zakończyć sekwencyjną pracę i ponownie przekazać zadanie do GPU.
Właśnie z tego powodu NVIDIA przy projektowaniu Vera postawiła na jeden monolityczny układ obliczeniowy, zamiast dzielenia CPU na wiele chipletów. Firma argumentuje, że rdzenie mogą dzięki temu komunikować się bez przekraczania granic pomiędzy poszczególnymi elementami krzemu, co ogranicza opóźnienia. NVIDIA mówi o 3,4 TB/s przepustowości pomiędzy różnymi częściami układu, co ma być około trzykrotnie lepszym wynikiem niż w przypadku czołowych procesorów x86. Do tego dochodzi własny system pamięci LPDDR5X oraz druga generacja NVIDIA Scalable Coherent Fabric.
Vera ma być też znacznie mocniejsza od Grace. Według danych producenta nowy procesor zapewnia około 1,5x wyższą wydajność od poprzednika, a w zadaniach typowych dla AI - takich jak skrypty Pythona czy kompilacja kodu LLVM - NVIDIA mówi nawet o dwukrotnej przewadze względem czołowych układów x86. Średnia przewaga w tych testach ma wynosić około 1,6x. Ciekawostką jest również opracowany przez NVIDIĘ Spatial Multithreading. Zamiast klasycznego SMT, układ może wydzielić osobny wątek do właściwych obliczeń oraz drugi do operacji wejścia/wyjścia. NVIDIA przekonuje, że pozwala to uniknąć sytuacji, w której obsługa I/O odbiera zasoby głównemu wątkowi.
Jeszcze istotniejsza zmiana dotyczy samego przeznaczenia procesora. Grace był projektowany głównie jako CPU obsługujący grupę GPU. Przy Vera NVIDIA doszła do wniosku, że AI może wymagać także całych szaf wypełnionych wyłącznie procesorami CPU, przeznaczonymi do wykonywania ogromnej liczby wywołań narzędzi i systemy AI, które samodzielnie uczą się skuteczniejszego działania poprzez kolejne próby i ocenę rezultatów.
Firma nie chce jednak podawać konkretnego przyszłego stosunku liczby CPU do GPU. Przyznaje jedynie, że proporcje zaczynają przesuwać się w stronę procesorów. Dostawcy infrastruktury dla agentów potrafią już podobno uruchamiać setki tysięcy izolowanych środowisk dla pojedynczego klienta, a w przyszłości skala może być jeszcze większa. Warto przy tym podkreślić, że NVIDIA nie skreśla chipletów. Monolityczny Vera powstał dlatego, że taka konstrukcja najlepiej odpowiadała konkretnym założeniom projektu. Firma deklaruje, że jeśli przyszłe procesory będą wymagały innego podejścia, bez problemu wróci do architektury wielochipowej.
