Meta potwierdza, że LLM o otwartym kodzie źródłowym Llama 3 pojawi się w przyszłym miesiącu

Na wtorkowym wydarzeniu w Londynie Meta potwierdziła, że planuje wstępną wersję Llama 3 – nowej generacji dużego modelu językowego używanego do zasilania generatywnych asystentów AI – w ciągu najbliższego miesiąca.

Potwierdza to raport opublikowany w poniedziałek przez The Information, że Meta zbliża się do premiery.

„W ciągu najbliższego miesiąca, a właściwie mniej, mamy nadzieję, że w bardzo krótkim czasie, rozpoczniemy wdrażanie naszego nowego pakietu modeli fundamentalnych nowej generacji, Llama 3” – powiedział Nick Clegg, prezes Meta ds. globalnych.

Chris Cox, dyrektor ds. produktu w Meta, dodał, że plan zakłada zasilanie wielu produktów w Meta za pomocą Llama 3.

Llama 2 została wydana publicznie w lipcu 2023 roku. Pierwsza wersja Llamy nie została udostępniona publicznie, ale i tak wyciekła do sieci. Meta w dużej mierze przyjęła bardzo ostrożne podejście do sztucznej inteligencji, ale nie spotkało się to z przychylnością opinii publicznej, a poprzednie wersje Llamy były krytykowane jako zbyt ograniczone.

Oczekuje się, że Llama 3, która ma większy zakres niż jej poprzednicy, zajmie się tym problemem, dzięki możliwościom nie tylko dokładniejszego odpowiadania na pytania, ale także szerszego zakresu pytań, które mogą obejmować bardziej kontrowersyjne tematy. Firma ma nadzieję, że dzięki temu produkt zyska popularność wśród użytkowników.

„Z czasem naszym celem jest uczynienie Meta AI opartej na Llamie najbardziej użytecznym asystentem na świecie” – powiedziała Joelle Pineau, wiceprezes AI Research.

Firma nie mówiła o wielkości parametrów, których używa w Llama 3, ani nie oferowała żadnych demonstracji tego, jak będzie działać. Oczekuje się, że będzie miał około 140 miliardów parametrów, w porównaniu do 70 miliardów w przypadku największego modelu Llama 2.

Co najważniejsze, rodziny Llama firmy Meta, zbudowane jako produkty open source, reprezentują inne podejście do tego, jak sztuczna inteligencja powinna rozwijać się jako szersza technologia. W ten sposób Meta ma nadzieję zyskać większą przychylność deweloperów w porównaniu z bardziej zastrzeżonymi modelami.

Yann LeCun, znany naukowiec zajmujący się sztuczną inteligencją, który jest również głównym naukowcem ds. sztucznej inteligencji w firmie Meta, rzucił okiem na ogólne ograniczenia generatywnej sztucznej inteligencji i powiedział, że stawia na to, co nastąpi po niej. Przewiduje, że będzie to architektura JEPA (Joint Embedding Predicting Architecture), inne podejście zarówno do trenowania modeli, jak i uzyskiwania wyników, które Meta wykorzystuje do tworzenia dokładniejszej predykcyjnej sztucznej inteligencji w obszarze generowania obrazów.