OpenAI stawia na własny układ AI – Jalapeño ma przyspieszyć inferencję i ograniczyć zużycie energii

OpenAI ujawniło kolejne szczegóły Jalapeño, swojego pierwszego własnego akceleratora AI opracowanego wspólnie z Broadcomem. Układ powstał przede wszystkim z myślą o inferencji dużych modeli językowych, a pierwsze testy pokazują, że firma chce konkurować z NVIDIA przede wszystkim wydajnością energetyczną i krótkim czasem odpowiedzi.

Podczas konferencji Hot Chips Richard Ho, wiceprezes OpenAI odpowiedzialny za sprzęt, poinformował, że Jalapeño ma TDP na poziomie 700 W. W praktycznych testach ciągły pobór mocy układu nie przekraczał jednak 550 W. OpenAI planuje instalować po 128 akceleratorów w pojedynczej szafie, co przy wartości znamionowej oznacza 89,6 kW tylko dla samych procesorów.

Taka konfiguracja ma oferować 1,7 exaFLOPS mocy obliczeniowej przy operacjach 4 bitowych oraz 27,5 TB pamięci HBM4. Każdy układ dysponuje przepustowością pamięci sięgającą 15,4 TB/s. Pełny system, określany przez OpenAI jako pod, ma składać się z 2 048 układów ASIC.

Jalapeño został przetestowany z trzema modelami. Były to GPT-OSS-120B OpenAI, DeepSeek R1 oraz Kimi K2.5 firmy Moonshot AI. Według Richarda Ho miało to pokazać, że architektura nie jest ograniczona wyłącznie do modeli rozwijanych przez OpenAI.

OpenAI porównuje Jalapeño z produktami NVIDIA

Według danych opublikowanych przez OpenAI, w benchmarku InferenceX firmy SemiAnalysis Jalapeño zapewniał od 1,5 do 1,9 raza więcej pracy AI na wat przy maksymalnej przepustowości. Opóźnienia mierzone od początku do końca były natomiast od 1,7 do 3,6 raza niższe. W zadaniach wymagających bardzo krótkiego czasu odpowiedzi przewaga miała sięgać od 2,1 do 4,1 raza.

W testach GPT-OSS-120B punktem odniesienia był NVIDIA GB200 o TDP 1 200 W. Dla DeepSeek R1 i Kimi K2.5 OpenAI wykorzystało GB300 o TDP 1 400 W. W przypadku GPT-OSS firma deklaruje około 1,9 raza wyższą przepustowość na kilowat, natomiast dla DeepSeek R1 wynik wyniósł około 1,7 raza.

Wyników nie należy jednak traktować jako zapowiedzi rezygnacji ze sprzętu NVIDIA. OpenAI podkreśla, że zapotrzebowanie firmy na moc obliczeniową jest zbyt duże, aby mogło zostać pokryte przez jedną platformę. Firma zamierza nadal szeroko wykorzystywać akceleratory NVIDIA oraz rozwiązania innych dostawców.

OpenAI twierdzi, że spowolni rozwój AI. Powód? Incydent z Hugging Face i naciski rządu

Kolejne generacje już powstają

Jalapeño powstał we współpracy z Broadcomem, a OpenAI wykorzystało własne modele również podczas projektowania układu. Firma twierdzi, że pozwoliło to skrócić cały proces rozwoju i lepiej wykorzystać powierzchnię krzemu. Pierwsza generacja ma trafić do infrastruktury OpenAI w ograniczonej skali do końca 2026 roku, przy czym większe wdrożenia są planowane na 2027 rok. Druga generacja jest już w zaawansowanej fazie prac, a projekt trzeciej również został rozpoczęty.

Dla OpenAI własny procesor oznacza przede wszystkim większą kontrolę nad kosztami i efektywnością infrastruktury. Jalapeño nie zastąpi GPU innych producentów, ale może stać się istotnym elementem zaplecza obsługującego ChatGPT i inne usługi firmy, szczególnie tam, gdzie kluczowe są opóźnienia oraz liczba tokenów generowanych przy określonym zużyciu energii.