Dostosuj preferencje dotyczące zgody

Używamy plików cookie, aby pomóc użytkownikom w sprawnej nawigacji i wykonywaniu określonych funkcji. Szczegółowe informacje na temat wszystkich plików cookie odpowiadających poszczególnym kategoriom zgody znajdują się poniżej.

Pliki cookie sklasyfikowane jako „niezbędne” są przechowywane w przeglądarce użytkownika, ponieważ są niezbędne do włączenia podstawowych funkcji witryny.... 

Zawsze aktywne

Niezbędne pliki cookie mają kluczowe znaczenie dla podstawowych funkcji witryny i witryna nie będzie działać w zamierzony sposób bez nich.Te pliki cookie nie przechowują żadnych danych umożliwiających identyfikację osoby.

Brak plików cookie do wyświetlenia.

Funkcjonalne pliki cookie pomagają wykonywać pewne funkcje, takie jak udostępnianie zawartości witryny na platformach mediów społecznościowych, zbieranie informacji zwrotnych i inne funkcje stron trzecich.

Brak plików cookie do wyświetlenia.

Analityczne pliki cookie służą do zrozumienia, w jaki sposób użytkownicy wchodzą w interakcję z witryną. Te pliki cookie pomagają dostarczać informacje o metrykach liczby odwiedzających, współczynniku odrzuceń, źródle ruchu itp.

Brak plików cookie do wyświetlenia.

Wydajnościowe pliki cookie służą do zrozumienia i analizy kluczowych wskaźników wydajności witryny, co pomaga zapewnić lepsze wrażenia użytkownika dla odwiedzających.

Brak plików cookie do wyświetlenia.

Reklamowe pliki cookie służą do dostarczania użytkownikom spersonalizowanych reklam w oparciu o strony, które odwiedzili wcześniej, oraz do analizowania skuteczności kampanii reklamowej.

Brak plików cookie do wyświetlenia.

Procesory Intel 4-gen Xeon osiągają do 10x wyższą wydajność stabilnej dyfuzji AI dzięki technologii AMX

Wprowadzone niedawno na rynek procesory Intel 4th Gen Xeon „Sapphire Rapids” odnotowały przyspieszoną adopcję w segmencie chmury i centrów danych. Jednym z kluczowych obszarów, w którym Intel włożył dodatkowy wysiłek, jest ich zestaw funkcji sprzętowych do akceleracji głębokiego uczenia się, który jest zwiększony dzięki nowym akceleratorom AMX (Advanced Matrix Extension).

Intel najpierw pokazuje średnie opóźnienie między obecną generacją Sapphire Rapids i ostatnią generacją procesorów Ice Lake. Procesory Xeon trzeciej generacji potrzebują około 45 sekund na uruchomienie kodu, podczas gdy procesory czwartej generacji 32,3 sekundy. To o 28% niższa latencja bez żadnych zmian w kodzie. Co więc, jeśli Intel miałby użyć zoptymalizowanego i otwartego zestawu narzędzi do wnioskowania o wysokiej wydajności, jak OpenVINO?

Odpowiedzią jest jeszcze większy wzrost wydajności! Dzięki Optimum Intel i OpenVino, procesory Intel Xeon obniżają opóźnienie do 16,7 sekundy, co daje ponad dwukrotny wzrost prędkości. Dalsza optymalizacja kodu do stałej rozdzielczości obniża opóźnienie do zaledwie 4,7 sekundy, co oznacza 3,5-3,8-krotny wzrost wydajności w stosunku do nietkniętego kodu.

Przy statycznym kształcie, średnie opóźnienie zostaje skrócone do 4,7 sekundy, co oznacza dodatkowe 3,5x przyspieszenie.

Jak widać, OpenVINO to prosty i wydajny sposób na przyspieszenie wnioskowania metodą stabilnej dyfuzji. W połączeniu z procesorem Sapphire Rapids, zapewnia on niemal 10-krotny wzrost prędkości w porównaniu do wnioskowania waniliowego na Xeonach Ice Lake.

Jeśli nie możesz lub nie chcesz używać OpenVINO, reszta tego postu pokaże Ci szereg innych technik optymalizacji. Zapnij pasy!

Włączamy także format danych bloat16, by wykorzystać akcelerator AMX tile matrix multiply unit (TMMU) obecny w procesorach Sapphire Rapids.

W tej zaktualizowanej wersji opóźnienie wnioskowania zostało jeszcze bardziej zredukowane z 11,9 sekundy do 5,4 sekundy. To ponad dwukrotne przyspieszenie dzięki IPEX i AMX.

W tej ostatecznej wersji opóźnienie wnioskowania spadło do 5,05 sekundy. W porównaniu z naszym początkowym benchmarkiem Sapphire Rapids (32,3 sekundy), jest to prawie 6,5x szybciej!

Intel

Dalsze optymalizacje na poziomie systemu, IPEX i BF16 przynoszą jeszcze większą wydajność, a wyniki można zobaczyć na ładnym wykresie dostarczonym przez samego Intela:

Intel’s Sapphire Rapids Xeon CPUs są obecnie dostępne do podglądu na instancjach Amazon EC2 R7iz, możecie się tu sami zarejestrować, aby uzyskać dostęp i zobaczyć zalety, które rodzina procesorów 4th Gen wprowadza. Wraz z rosnącą popularnością Stable Diffusion i podobnych modeli AI, widać dlaczego procesory Intela staną się popularnym wyborem w tym segmencie.