HPE przyspiesza trenowanie sztucznej inteligencji, wykorzystując nowe rozwiązanie od NVIDIA
Hewlett Packard Enterprise prezentuje superkomputerowe rozwiązanie dla generatywnej sztucznej inteligencji przeznaczone dla dużych przedsiębiorstw, instytucji badawczych i organizacji rządowych, które pozwala na skrócenie procesu trenowania i dostrajania modeli sztucznej inteligencji przy użyciu prywatnych zbiorów danych.
Rozwiązanie to składa się z pakietu oprogramowania umożliwiającego trenowanie i dostrajanie modeli oraz opracowywanie aplikacji korzystających z AI. Rozwiązanie obejmuje również superkomputery chłodzone cieczą, przyspieszone obliczenia, rozwiązania sieciowe, pamięć masową i usługi, które pomagają organizacjom szybciej uzyskiwać rezultaty dzięki zastosowaniu sztucznej inteligencji.
„Wiodące firmy i ośrodki badawcze szkolą i dostrajają modele sztucznej inteligencji, aby zwiększać innowacyjność i osiągać przełomowe rezultaty w prowadzonych badaniach. Jednak by robić to skutecznie i wydajnie, potrzebują specjalnie zaprojektowanych rozwiązań” – powiedział Justin Hotard, wiceprezes i dyrektor generalny ds. HPC, AI & Labs w HPE. „Aby korzystać z generatywnej sztucznej inteligencji, organizacje potrzebują zrównoważonych rozwiązań zapewniających wydajność i skalowalność superkomputera, pozwalających skutecznie szkolić modele sztucznej inteligencji. Cieszymy się z rozszerzenia naszej współpracy z firmą NVIDIA i oferujemy rozwiązanie „pod klucz” oparte na sztucznej inteligencji, które pomoże naszym klientom znacznie przyspieszyć trenowanie modeli i uzyskiwanie wyników z wykorzystaniem sztucznej inteligencji”.
Narzędzia programistyczne do budowania aplikacji AI, dostrajania gotowych modeli oraz opracowywania i modyfikowania kodu są kluczowymi elementami naszego superkomputerowego rozwiązania dla generatywnej sztucznej inteligencji. Oprogramowanie to jest zintegrowane z technologią superkomputerową HPE Cray, która bazuje na potężnej architekturze używanej w najszybszym superkomputerze świata i wykorzystuje „superczipy” NVIDIA Grace Hopper GH200.
Rozwiązanie to oferuje organizacjom bezprecedensową skalę i wydajność wymagane dla dużych obciążeń związanych ze sztuczną inteligencją, takich jak trenowanie dużych modeli językowych (LLM) czy modeli rekomendacji bazujących na głębokim uczeniu (DLRM). Korzystając ze środowiska programistycznego HPE Machine Learning Development Environment w tym systemie, działający na open source model Llama 2 o 70 miliardach parametrów został dostrojony w mniej niż 3 minuty, co bezpośrednio przełożyło się na krótszy czas uzyskania wartości dla klientów. Zaawansowane możliwości superkomputerów HPE wspierane przez technologię NVIDIA przekładają się na 2-3-krotne zwiększenie wydajności systemu.
„Generatywna sztuczna inteligencja wpływa na transformację każdego przedsięwzięcia, zarówno w przemyśle, jak i w nauce” – powiedział Ian Buck, wiceprezes ds. Hyperscale i HPC w NVIDIA. „Współpraca firmy NVIDIA z HPE nad tym gotowym rozwiązaniem do szkolenia i symulacji sztucznej inteligencji, opartym na superczipach NVIDIA GH200 Grace Hopper, zapewni klientom wydajność niezbędną do osiągnięcia prawdziwych przełomów w działalności związanej z generatywną sztuczną inteligencją”.
Zaawansowane, zintegrowane rozwiązanie AI
Prezentowane superkomputerowe rozwiązanie dla generatywnej sztucznej inteligencji zostało zaprojektowane jako zintegrowany, natywny dla AI system obejmujący:
Oprogramowanie do akceleracji AI/ML – zestaw trzech narzędzi do trenowania i dostrajania modeli AI i tworzenia własnych aplikacji AI.
- HPE Machine Learning Development Environment to platforma software’owa do uczenia maszynowego, która umożliwia szybsze opracowywanie i wdrażanie modeli sztucznej inteligencji poprzez integrację z popularnymi frameworkami ML i uproszczenie przygotowywania danych.
- NVIDIA AI Enterprise pomaga organizacjom na drodze do najnowocześniejszej sztucznej inteligencji z zachowaniem bezpieczeństwa, stabilności, łatwością zarządzania i pełnym wsparciem. Oferuje rozbudowane struktury, wstępnie wytrenowane modele i narzędzia, które usprawniają opracowywanie i wdrażanie produkcyjnej sztucznej inteligencji.
- Pakiet HPE Cray Programming Environment daje programistom kompletny zestaw narzędzi do projektowania, portowania, debugowania i dopracowywania kodu.
- Zaprojektowane z myślą o skalowaniu – rozwiązanie oparte jest na eksaskalowym systemie HPE Cray EX2500 i wyposażone w wiodące układy NVIDIA GH200 Grace Hopper Superchip. Dzięki temu możliwe jest skalowanie nawet do poziomu wielu tysięcy procesorów graficznych (GPU) z możliwością dedykowania pełnej pojemności węzłów do obsługi pojedynczego obciążenia AI, co przyspiesza uzyskiwanie rezultatów. Jest to pierwszy system wyposażony w poczwórną konfigurację węzłów „superczipów” GH200.
- Rozwiązanie sieciowe dla sztucznej inteligencji wykorzystywanej w czasie rzeczywistym – HPE Slingshot Interconnect oferuje otwartą, opartą na sieci Ethernet, wysokowydajną sieć zaprojektowaną do obsługi eksaskalowych obciążeń roboczych. Rozwiązanie to bazuje na technologii HPE Cray, co zwiększa wydajność całego systemu, umożliwiając niezwykle szybką pracę w sieci.
- Prostota dzięki rozwiązaniu „pod klucz” – oferowane rozwiązanie uzupełniają usługi HPE Complete Care Services, które zapewniają specjalistyczną pomoc w zakresie konfiguracji, instalacji i wsparcia przez cały cykl życia, co ułatwia wdrożenie rozwiązań AI.
Bardziej ekologiczna przyszłość superkomputerów i sztucznej inteligencji
Szacuje się, że do 2028 roku wzrost obciążeń związanych ze sztuczną inteligencją będzie oznaczał zapotrzebowanie w centrach danych na około 20 gigawatów mocy. Klienci będą potrzebować rozwiązań zapewniających wyższą efektywność energetyczną, aby zminimalizować emisję CO2. Rozwiązania obliczeniowe HPE są efektywne energetycznie, m.in. dzięki zastosowaniu chłodzenia cieczą, co pozwala zwiększyć wydajność nawet o 20 proc. w porównaniu do rozwiązań chłodzonych powietrzem i zużyć o 15 proc. mniej energii.
Obecnie większość spośród 10 najbardziej wydajnych superkomputerów na świecie wykorzystujących bezpośrednie chłodzenie cieczą (DLC) to systemy firmy HPE. Ten rodzaj układu chłodzenia jest również stosowany w prezentowanym superkomputerowym rozwiązaniu dla generatywnej sztucznej inteligencji. Pozwala on na wydajne chłodzenie systemu przy jednoczesnym obniżeniu zużycia energii w zastosowaniach wymagających dużej mocy obliczeniowej.
HPE oferuje rozwiązania pomagające organizacjom wykorzystać najpotężniejsze technologie obliczeniowe w celu skutecznego wykorzystania AI przy jednoczesnym zmniejszeniu zużycia energii.
Dostępność
Superkomputerowe rozwiązanie dla generatywnej sztucznej inteligencji będzie dostępne za pośrednictwem HPE w ponad 30 krajach od grudnia tego roku.
Najnowszy numer
Najnowszy numer