NVIDIA Grace Hopper: jak superchip łączy procesor CPU z układem GPU

Kontekst: dlaczego CPU i GPU przestały wystarczać osobno

Przez lata akceleratory GPU podłączano do procesora przez magistralę PCIe. Dane musiały być kopiowane między dwiema osobnymi pamięciami, a każde kopiowanie zużywało czas i energię.

W obliczeniach naukowych i w uczeniu maszynowym wąskim gardłem coraz częściej staje się przepływ danych, a nie sama moc obliczeniowa. Według NVIDIA tradycyjne połączenie CPU z GPU ogranicza wykorzystanie akceleratora, bo jednostki czekają na dane.

Exascale oznacza system o wydajności co najmniej 10 do potęgi 18 operacji zmiennoprzecinkowych na sekundę. Przy takiej skali koszt przesyłu danych i jego opóźnienie mają większe znaczenie niż pojedyncza liczba TFLOPS.

Architektura: procesor Grace i GPU Hopper na jednym module

Grace to procesor CPU oparty na rdzeniach Arm Neoverse. NVIDIA podaje, że w jednym układzie Grace znajduje się 72 rdzenie. Pamięć CPU to LPDDR5X z kodem korekcji błędów ECC, a jej pojemność w konfiguracjach Grace podawana przez producenta sięga do 480 GB.

Hopper to GPU z pamięcią HBM, osadzoną blisko układu obliczeniowego. Przepustowość HBM jest wielokrotnie wyższa niż przepustowość pamięci LPDDR. Różnica ta określa, które dane warto trzymać po stronie GPU.

Oba układy są montowane na jednym module i połączone krótkimi, szerokimi ścieżkami. Dzięki temu łącze między nimi nie jest ograniczone formatem gniazda rozszerzeń, jak w klasycznym serwerze z kartą PCIe.

• CPU: Arm Neoverse, pamięć LPDDR5X z ECC.
• GPU: architektura Hopper, pamięć HBM.
• Łącze: NVLink-C2C między CPU a GPU.
• Konfiguracje pamięci różnią się w zależności od wersji produktu; szczegóły podaje producent.

NVLink-C2C i pamięć koherentna

NVLink-C2C to łącze chip-to-chip używane wewnątrz modułu. Według NVIDIA jego przepustowość w obu kierunkach wynosi do 900 GB/s, co jest kilkukrotnie więcej niż PCIe Gen5 x16.

Koherencja pamięci oznacza, że CPU i GPU mogą widzieć te same dane pod tym samym adresem, a sprzęt pilnuje spójności pamięci podręcznej. Programista nie musi ręcznie kopiować buforów między pamięciami. Ułatwia to implementację dużych zbiorów danych i modeli, które nie mieszczą się w pamięci GPU.

Nie każdy dostęp jest równie szybki. Dostęp GPU do pamięci CPU jest wolniejszy niż dostęp do lokalnej pamięci HBM, bo LPDDR ma niższą przepustowość, a dane przechodzą przez łącze. Dobry kod nadal musi rozmieszczać dane świadomie, nawet przy wspólnej pamięci.

• Koherencja sprzętowa między CPU a GPU.
• Przepustowość łącza deklarowana przez NVIDIA: do 900 GB/s dwukierunkowo.
• Dostęp do pamięci zdalnej jest wolniejszy niż do lokalnej.

Zastosowania: obliczenia exascale i duże modele AI

Według NVIDIA architektura Grace Hopper jest projektowana z myślą o superkomputerach i symulacjach naukowych, takich jak modelowanie klimatu, dynamika płynów czy symulacje molekularne. W tych zadaniach istotne są zarówno wydajność obliczeniowa, jak i przepustowość danych między etapami obliczeń.

W uczeniu maszynowym pojemność wspólnej pamięci pozwala uruchamiać duże modele lub ich fragmenty bez dzielenia ich między wiele akceleratorów. Zysk zależy jednak od konkretnego obciążenia. Nie każdy model korzysta z koherencji w równym stopniu.

Ośrodki obliczeniowe oceniają takie systemy przez pryzmat wydajności na wat i kosztu eksploatacji. Sama moc szczytowa nie opisuje wyniku w rzeczywistych aplikacjach.

Porównania: Grace Hopper wobec klasycznych serwerów i innych podejść

Klasyczny serwer z procesorem x86 i kartą GPU na PCIe ma prostszą, lepiej znaną konfigurację. Jego zaletą jest możliwość wymiany komponentów i szeroka dostępność części. Wadą jest przepływ danych przez PCIe i rozdzielone pamięci.

Grace Hopper przesuwa punkt ciężkości w stronę ścisłej integracji. Zyskuje się przepustowość i wspólną pamięć, ale traci się elastyczność konfiguracji. Wymiana CPU albo GPU w module nie jest typową operacją serwisową.

Inne podejście to akceleratory APU, w których CPU i GPU dzielą jeden pakiet i jedną pamięć HBM. Rozwiązanie to upraszcza architekturę, ale ogranicza pojemność pamięci w porównaniu z LPDDR po stronie CPU. Wybór zależy od profilu obciążeń.

• Serwer x86 + GPU na PCIe: elastyczność, standardowe części, wąskie gardło PCIe.
• Grace Hopper: ścisła integracja, wspólna pamięć, mniejsza elastyczność konfiguracji.
• APU: wspólna pamięć HBM, mniejsza pojemność dla CPU.

Na co patrzeć przy ocenie i typowe błędy

Pierwszy błąd to porównywanie wyłącznie szczytowej wydajności w TFLOPS. Trzeba sprawdzić precyzję obliczeń, przepustowość pamięci, pojemność i zachowanie aplikacji. Druga istotna kwestia to pobór mocy, chłodzenie i gęstość montażu w szafie serwerowej.

Drugi błąd to zakładanie, że wspólna pamięć oznacza brak różnic w dostępie. Dostęp zdalny ma inne opóźnienie i przepustowość, więc kod wymaga profilowania. Trzeci błąd to pomijanie zgodności oprogramowania: biblioteki, sterowniki i kompilatory muszą obsługiwać architekturę Arm oraz używany stos CUDA.

Przy zakupie warto pytać o konkretne wersje produktu, gwarancje producenta i wsparcie integratora. Informacje o konfiguracji zmieniają się między wersjami, dlatego każda liczba wymaga potwierdzenia w dokumentacji.

• Porównuj wydajność w precyzji używanej przez aplikację, nie tylko w wartości szczytowej.
• Sprawdzaj pojemność i przepustowość obu pamięci.
• Potwierdź zgodność oprogramowania z architekturą Arm.
• Oceniaj pobór mocy i chłodzenie na poziomie całej szafy.

Czego nie wiadomo i co pozostaje niejasne

Rzeczywista wydajność Grace Hopper zależy od obciążenia, konfiguracji i oprogramowania. Parametry podawane przez NVIDIA opisują możliwości układu, a nie wyniki każdej aplikacji. Niezależne testy w konkretnych zadaniach są jedynym wiarygodnym źródłem porównań.

Nie wiadomo, jak szybko rozwinie się ekosystem narzędzi dla architektury Arm w obliczeniach naukowych. Postęp w tym obszarze zależy od dostawców oprogramowania, a nie od samego chipa. Ta kwestia pozostaje otwarta i wymaga obserwacji.

Pełny koszt systemu obejmuje serwery, sieć, chłodzenie, energię i utrzymanie. Ceny urządzeń i terminy dostaw zależą od integratorów i dystrybutorów, a w tym tekście nie podano ich wartości.