Akcelerator Intel Gaudi 3 AI: 5 nm, 128 GB HBM2e, do 900 W, 50% szybszy niż NVIDIA H100 i 40% bardziej wydajny

Intel wprowadza akcelerator Intel® Gaudi® 3 AI, który zapewnia 4-krotny wzrost wydajności obliczeń AI dla BF16, 1,5-krotny wzrost przepustowości pamięci i 2-krotny wzrost przepustowości sieci dla masowego skalowania systemu w porównaniu do swojego poprzednika.

Opierając się na sprawdzonej wydajności i efektywności akceleratora Intel® Gaudi® 2 AI – jedynej na rynku alternatywy dla LLM w testach porównawczych MLPerf – Intel daje klientom wybór dzięki otwartemu oprogramowaniu społecznościowemu i standardowej sieci Ethernet, aby bardziej elastycznie skalować swoje systemy.

Justin Hotard, wiceprezes wykonawczy i dyrektor generalny grupy ds. centrów danych i sztucznej inteligencji w Intelu powiedział:

„W stale ewoluującym krajobrazie rynku sztucznej inteligencji utrzymuje się znaczna luka w obecnej ofercie. Informacje zwrotne od naszych klientów i szerszego rynku podkreślają potrzebę większego wyboru. Przedsiębiorstwa biorą pod uwagę takie czynniki, jak dostępność, skalowalność, wydajność, koszty i efektywność energetyczna. Intel Gaudi 3 wyróżnia się jako alternatywa dla GenAI, oferując atrakcyjne połączenie ceny, wydajności, skalowalności systemu i przewagi czasowej”.

Obecnie przedsiębiorstwa z kluczowych sektorów, takich jak finanse, produkcja i opieka zdrowotna, szybko dążą do poszerzenia dostępności sztucznej inteligencji i przejścia projektów generatywnej sztucznej inteligencji (GenAI) z faz eksperymentalnych do wdrożenia na pełną skalę. Aby zarządzać tym przejściem, napędzać innowacje i realizować cele wzrostu przychodów, firmy potrzebują otwartych, opłacalnych i bardziej energooszczędnych rozwiązań i produktów, które spełniają potrzeby w zakresie zwrotu z inwestycji (ROI) i wydajności operacyjnej.

Intel Gaudi 3 spełnia te wymagania i zaoferuje wszechstronność dzięki otwartemu oprogramowaniu społecznościowemu i otwartemu standardowi branżowemu Ethernet, pomagając firmom w elastycznym skalowaniu systemów i aplikacji AI.

Akcelerator Intel Gaudi 3, zaprojektowany z myślą o wydajnych obliczeniach AI na dużą skalę, jest produkowany w procesie technologicznym 5 nanometrów (nm) i oferuje znaczące postępy w stosunku do swojego poprzednika. Został zaprojektowany tak, aby umożliwić aktywację wszystkich silników równolegle – z Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC) i Networking Interface Cards (NIC) – umożliwiając akcelerację potrzebną do szybkich, wydajnych obliczeń głębokiego uczenia się i skalowania.

Akcelerator Intel Gaudi 3 zapewni znaczną poprawę wydajności w zadaniach szkoleniowych i wnioskowania w wiodących modelach GenAI. Przewiduje się, że akcelerator Intel Gaudi 3 zapewni średnią wydajność w porównaniu do Nvidia H100:

• O 50% krótszy czas szkolenia dla parametrów Llama2 7B i 13B oraz modeli parametrów GPT-3 175B.
• O 50% szybsza przepustowość wnioskowania i o 40% większa wydajność wnioskowania w przypadku parametrów Llama 7B i 70B oraz modeli parametrów Falcon 180B. Jeszcze większa przewaga wydajności wnioskowania na dłuższych sekwencjach wejściowych i wyjściowych.
• O 30% szybsze wnioskowanie na parametrach Llama 7B i 70B oraz modelach parametrów Falcon 180B w porównaniu z Nvidia H200.

Akcelerator Intel Gaudi 3 będzie dostępny dla producentów oryginalnego sprzętu (OEM) w drugim kwartale 2024 r. w standardowych konfiguracjach uniwersalnej płyty bazowej i otwartego modułu akceleratora (OAM). Wśród znaczących producentów OEM, którzy wprowadzą Gaudi 3 na rynek, są Dell Technologies, Hewlett Packard Enterprise, Lenovo i Supermicro. Ogólna dostępność akceleratorów Intel Gaudi 3 przewidywana jest na trzeci kwartał 2024 roku, a karta rozszerzeń Intel Gaudi 3 PCIe ma być dostępna w ostatnim kwartale 2024 roku.