Pamięć nie nadąża za GPU. Micron wskazuje na rosnący problem infrastruktury AI

Rozwój akceleratorów AI jest znacznie szybszy niż wzrost przepustowości pamięci, co może coraz mocniej ograniczać wydajność kolejnych generacji systemów. Micron podczas konferencji Hot Chips 2026 zwrócił uwagę, że problem dotyczy już nie tylko szybkości HBM, lecz także niezawodności, powierzchni krzemu, możliwości produkcyjnych i odprowadzania ciepła.

Raghu Sreeramaneni z Micron, zajmujący się architekturą pamięci HBM, wskazał, że wydajność obliczeniowa akceleratorów AI w dwa lata rośnie około trzykrotnie, a w tym samym czasie przepustowość pamięci HBM zwiększyła się niecałe dwa razy. Powiększająca się różnica prowadzi do zjawiska określanego jako ściana pamięci, w którym możliwości układów obliczeniowych coraz częściej ogranicza tempo dostarczania im danych.

Skala problemu jest szczególnie widoczna w dużych klastrach. Podczas 54 dni pretreningu modelu Llama 3 405B Meta zanotowano 466 przerw w pracy, z czego 419 było nieplanowanych. Problemy z pamięcią HBM3 odpowiadały za 72 takie zdarzenia, czyli 17,2%. Uszkodzenia GPU stanowiły kolejne 30,1%. Około 78% niespodziewanych przerw było związanych z potwierdzonymi lub podejrzewanymi problemami sprzętowymi.

HBM zużywa coraz więcej krzemu

Micron zwraca uwagę również na koszt powierzchni półprzewodników. W pokazanym podczas Hot Chips przykładzie systemu z dwoma GPU i ośmioma 12 warstwowymi stosami HBM4 pamięć zajmowała ponad osiem razy większą powierzchnię niż same układy GPU. Oznacza to, że przypadało na nią około 90% powierzchni.

Produkcja HBM jest też znacznie bardziej wymagająca od klasycznej pamięci operacyjnej. Według danych przedstawionych przez Micron uzyskanie tej samej pojemności w HBM3E wymaga około trzykrotnie większej ilości krzemu niż w przypadku DDR5. Rosnący popyt na HBM może więc zwiększać presję na moce produkcyjne producentów DRAM.

Ciepło  jest kolejnym problemem

Zwiększanie liczby warstw i szybkości transmisji danych komplikuje również chłodzenie. Dolne warstwy stosu znajdują się najbliżej układu bazowego i generują dużo ciepła, które musi się przedostać przez kolejne warstwy do układu chłodzenia.

Dlatego Micron wskazuje na chłodzenie cieczą, łączenie hybrydowe oraz modyfikacje materiałów lutowniczych i obudów jako technologie niezbędne dla kolejnych generacji HBM. Rozważane są też większe układy typu SiP, szklane podłoża oraz nowe interfejsy SerDes i połączenia między układami.

Problem pamięci może mieć coraz większe znaczenie dla całej infrastruktury AI. Samo zwiększanie liczby jednostek obliczeniowych nie wystarczy, jeśli system nie będzie w stanie odpowiednio szybko dostarczać danych, odprowadzać ciepła i utrzymywać niezawodności tysięcy współpracujących ze sobą komponentów.