HBF jako wsparcie dla HBM, SK hynix testuje rozwiązanie z NVIDIA Blackwell

SK hynix zaprezentował nową koncepcję architektury układów dla sztucznej inteligencji, która łączy pamięć HBM z nowym rozwiązaniem HBF. Według symulacji producenta wydajność na wat może wzrosnąć nawet 2,69 razy. Firma celuje przede wszystkim w segment inferencji AI, gdzie rosnące modele generują coraz większe wymagania pamięciowe.

H3, czyli HBM i HBF obok GPU

Koreański producent pamięci przedstawił koncepcję o nazwie H3 w referacie zaprezentowanym na forum IEEE. Architektura zakłada integrację pamięci HBM oraz HBF w jednym projekcie i umieszczenie obu typów bezpośrednio przy procesorze graficznym odpowiedzialnym za obliczenia.

W obecnych układach, w tym w platformie NVIDIA Rubin zapowiadanej na drugą połowę roku, obok GPU znajduje się wyłącznie HBM. SK hynix proponuje dodanie warstwy High Bandwidth Flash, czyli stosów NAND flash o wysokiej przepustowości, które przejmą część zadań związanych z przechowywaniem danych.

W testach symulacyjnych producent zestawił osiem stosów HBM3E piątej generacji oraz osiem stosów HBF z Blackwell B200. Według danych cytowanych przez Hankyung, wydajność na wat wzrosła nawet 2,69 razy w porównaniu z konfiguracją opartą wyłącznie na HBM.

Kluczowy element, KV cache i inferencja AI

Nowa architektura ma być szczególnie atrakcyjna dla zadań inferencyjnych, czyli generowania odpowiedzi przez modele językowe i multimodalne. W tym scenariuszu ogromne znaczenie ma tzw. KV cache, który przechowuje kontekst rozmowy i pośrednie wyniki obliczeń.

Wraz ze wzrostem liczby parametrów modeli zapotrzebowanie na pamięć rośnie do poziomu, który zaczyna ograniczać GPU i HBM. W koncepcji H3 to HBF przejmuje obsługę dużych, rzadko modyfikowanych zbiorów danych, odciążając szybszą pamięć HBM.

Symulacje wykazały, że przy obsłudze cache sięgającego 10 mln tokenów maksymalny rozmiar partii zapytań może wzrosnąć nawet 18,8 razy względem systemu z samą HBM. Obciążenia, które wcześniej wymagały 32 GPU, miałyby być zrealizowane na dwóch jednostkach, co oznacza istotną poprawę efektywności energetycznej i niższe koszty infrastruktury.

Wyzwania techniczne i perspektywa 2027 roku

HBF opiera się na pamięci NAND flash, która oferuje wysoką gęstość zapisu, lecz ma ograniczenia w zakresie szybkości operacji. W zastosowaniach inferencyjnych dominują odczyty, jednak rosnące znaczenie KV cache sprawia, że wydajność zapisu staje się coraz istotniejsza. SK hynix wskazuje tu na konieczność rozwoju kontrolera w warstwie bazowej stosu HBF.

Równolegle trwają prace nad standaryzacją, a Samsung Electronics oraz SK hynix podpisały porozumienia z SanDisk w sprawie wspólnych działań w ramach konsorcjum. Komercjalizacja HBF planowana jest na 2027 rok.