Europejski LLM z pełną zgodnością z AI Act. OVHcloud prezentuje model Olala mini 7A1B

OVH ogłasza Olala, pierwszą własną rodzinę modeli LLM. Jej pierwszym przedstawicielem jest Olala mini 7A1B – kompaktowy model oparty na architekturze zintegrowanej z ekspertami, stanowiący przykład modelu agentowego stworzonego i wytrenowanego w Europie od podstaw. Oficjalna premiera odbędzie się podczas OVHcloud AI Summit 19 listopad, gdzie OVHcloud szczegółowo zaprezentuje wszystkie swoje innowacje w obszarze chmury i sztucznej inteligencji przeznaczone dla klientów.
Specyfikacja techniczna modelu Olala mini
Olala mini zbudowano na architekturze o 7 miliardach parametrów (7B), z których 1 miliard jest aktywny i rozdzielony pomiędzy 256 ekspertów w każdej warstwie. Model wykorzystuje mechanizm hybrydowej uwagi łączący Differential-TPA i Mamba-3 oraz pracuje w formacie BF16.
Do obsługi każdego zapytania angażowana jest tylko część modelu, co zmniejsza zapotrzebowanie na pamięć i zwiększa szybkość działania:
- Model może działać na procesorze graficznym (GPU) wyposażonym w 8 GB pamięci.
- Na karcie RTX A4500 osiąga prędkość 160 tokenów na sekundę.
- Na standardowym procesorze (CPU) bez GPU uzyskuje prędkość 50 tokenów na sekundę.
- Okno kontekstowe wynosi 32 000 tokenów.
- Model jest udostępniany na zasadach open source na platformie Hugging Face na licencji Apache 2.0.
Model wytrenowany przy wsparciu europejskich środków publicznych i już wykorzystywany przez Qwant
Model wytrenowano na trzech europejskich superkomputerach publicznych: Jupiter, MeluXina oraz Jean Zay (wyposażonych w układy GPU GH200, A100 i H100). Wsparcie publiczne w postaci wyznaczonego czasu obliczeniowego miało wartość 7 mln euro. W ramach projektu w strukturach OVH powstała jednostka Agentic Lab oraz rozwinięto model językowy OVHai LLM.
Olala mini wydano wraz z wagami, wstępnie wytrenowanym modelem bazowym, raportem technicznym oraz dokumentacją potwierdzającą zgodność z unijnym rozporządzeniem o sztucznej inteligencji (AI Act). Wyszukiwarka Qwant wdrożyła rozwiązanie w funkcji szybkich odpowiedzi (flash answer), co skróciło czas generowania odpowiedzi o 20% i obniżyło koszty operacyjne trzykrotnie w stosunku do wcześniej stosowanego modelu.
Plany rozwoju (Wersja 1.1 oraz 2.0)
- Wersja 1.1 (planowana na koniec roku): rozszerzenie okna kontekstowego do 128 000 tokenów oraz zwiększenie skuteczności w zakresie rozumowania matematycznego.
- Wersja 2.0: planowane jest stworzenie modeli dysponujących ponad 100 miliardami parametrów, wyspecjalizowanych w trzech obszarach:
- Agentic AI dla przedsiębiorstw: integracja z platformą OVHai Workspace z wymogiem pracy lokalnej na stacji roboczej.
- Cloud DevOps: wersje dostosowane do potrzeb programistów, architektów oraz zespołów utrzymania ruchu.
- Cyberbezpieczeństwo: obsługa działań defensywnych i ofensywnych.
Octave Klaba, CEO OVHcloud, przy okazji zapowiedzi modelu stwierdził:
Sztuczna inteligencja ma dla OVH strategiczne znaczenie. Oprócz oferowania naszym klientom usług opartych na AI, musimy być również w stanie tworzyć modele odpowiadające na potrzeby wewnętrzne oraz potrzeby naszych klientów. W nadchodzących latach nie możemy polegać wyłącznie na tym, że niektóre laboratoria będą udostępniać swoje duże modele językowe na zasadach open source. Wiedza specjalistyczna w dziedzinie trenowania modeli stała się powszechnie dostępna, a koszt samego procesu trenowania spadł w ciągu trzech lat dwudziestokrotnie. Obecnie tworzenie modeli LLM może być przedsięwzięciem przynoszącym zyski.

Octave Klaba, CEO OVHcloud





















