Nowy benchmark testuje szybkość działania modeli AI. Czy były niespodzianki?

Grupa porównawcza zajmująca się sztuczną inteligencją o nazwie MLCommons ujawniła w poniedziałek wyniki nowych testów określających, jak szybko najwyższej klasy sprzęt może uruchamiać modele sztucznej inteligencji. 

Test porównawczy symuluje część „wnioskowania” przetwarzania danych AI, która napędza oprogramowanie stojące za narzędziami generatywnymi AI – poinformował Reuters. Najlepsze zgłoszenie Nvidii do testu porównawczego wnioskowania dotyczy ośmiu flagowych układów H100. Nvidia zdominowała rynek szkoleń modeli AI, ale nie podbiła jeszcze rynku wnioskowania.

Na pierwszym miejscu w kategorii ogólnej nie było niespodzianek – układ Nvidia Corp uzyskał najlepsze wyniki w testach dużego modelu językowego, ale tuż za nim znalazł się półprzewodnik wyprodukowany przez firmę Intel Corp. Nowy test porównawczy MLPerf opiera się na dużym modelu językowym z 6 miliardami parametrów, który podsumowuje artykuły prasowe CNN.

„Jak widać zapewniamy wiodącą wydajność we wszystkich obszarach i znowu zapewniamy tę wiodącą wydajność przy wszystkich obciążeniach” – powiedział Dave Salvator, dyrektor ds. marketingu przyspieszonego przetwarzania danych w firmie Nvidia.

Sukces Intela polega na użyciu chipów Gaudi2 wyprodukowanych przez nabytą w 2019 roku jednostkę Habana. System Gaudi2 był około 10% wolniejszy niż system Nvidii.

„Jesteśmy bardzo dumni z wyników wnioskowania, ponieważ pokazujemy przewagę Gaudi2 w zakresie ceny i wydajności” – powiedział dyrektor operacyjny Habany, Eitan Medina.

W piątek Nvidia poinformowała, że planuje wkrótce wprowadzić aktualizację oprogramowania, która podwoi wydajność w porównaniu z wynikami testu porównawczego MLPerf.

Jednostka Google firmy Alphabet zapoznała się już z wydajnością najnowszej wersji niestandardowego chipa, którą ogłoszono podczas sierpniowej konferencji dotyczącej przetwarzania w chmurze.