Bazujący na otwartym kodzie źródłowym system Red Hat Enterprise Linux AI ułatwia wdrażanie innowacyjnej generatywnej AI

Red Hat, Inc., wiodący na świecie dostawca rozwiązań bazujących na otwartym kodzie źródłowym, wprowadził do oferty system operacyjny Red Hat Enterprise Linux AI (RHEL AI). To platforma dla podstawowych modeli sztucznej inteligencji, która umożliwia użytkownikom płynniejsze opracowywanie, testowanie i wdrażanie środowisk generatywnej AI (GenAI). RHEL AI wykorzystuje stworzoną przez IBM Research, licencjonowaną na zasadach open source rodzinę dużych modeli językowych (LLM) Granite, która bazuje na metodologii LAB (Large-scale Alignment for chatBots) – narzędzia do dostrajania modeli InstructLab. Zastosowano w nim także oparte na społeczności podejście do rozwoju modeli w ramach projektu InstructLab. Rozwiązanie zostało udostępnione w postaci pakietu zawierającego zoptymalizowany, bootowalny obraz systemu RHEL do indywidualnego wdrażania serwerów w chmurze hybrydowej. Stanowi ono także część OpenShift AI – hybrydowej platformy operacji uczenia maszynowego (MLOps) firmy Red Hat, przeznaczonej do uruchamiania modeli AI i projektu InstructLab na dużą skalę w rozproszonych środowiskach klastrowych.

Udostępnienie usługi ChatGPT wzbudziło ogromne zainteresowanie generatywną sztuczną inteligencją, a tempo wprowadzania innowacji od tego czasu tylko przyspieszyło. Przedsiębiorstwa zaczęły przechodzić od oceniania przydatności usług GenAI do tworzenia bazujących na sztucznej inteligencji aplikacji. Dalsze innowacje pobudził szybko rozwijający się ekosystem rozwiązań wykorzystujących otwarte modele. Jednocześnie unaocznił on, że nie powstanie jeden model dla wszystkich. Klienci będą korzystać z szeregu opcji spełniających określone wymagania, których rozwój może zostać jeszcze bardziej przyspieszony dzięki otwartemu podejściu do innowacyjności.

Wdrożenie strategii wykorzystania sztucznej inteligencji wymaga nie tylko wybrania modelu. Bazujące w dużym stopniu na rozwiązaniach technicznych przedsiębiorstwa potrzebują specjalistycznej wiedzy, aby dostosować dany model do konkretnego użycia, a także poradzić sobie ze znacznymi kosztami wdrożenia AI. Występuje również niedobór wiedzy w zakresie naukowego podejścia do danych, a problemy potęgowane są przez znaczne nakłady finansowe, konieczne m.in. w związku z:

• potrzebą zakupu infrastruktury AI lub korzystania z usług AI;
• złożonym procesem dostosowywania modeli AI do konkretnych potrzeb biznesowych;
• działaniami dotyczącymi integracji AI z aplikacjami korporacyjnymi;
• zarządzaniem cyklem życia aplikacji i modeli.

Aby rzeczywiście obniżyć bariery wejścia dla wdrożenia innowacyjnych mechanizmów sztucznej inteligencji, przedsiębiorstwa muszą być w stanie rozszerzyć listę pracowników zaangażowanych w działania nad inicjatywami AI, a jednocześnie kontrolować związane z tym koszty. Red Hat dąży do usunięcia tych przeszkód dzięki narzędziom InstructLab służącym do dostrajania modeli AI, modelom Granite oraz systemowi RHEL AI, który ułatwia wdrażanie modeli generatywnej sztucznej inteligencji. Ma to na celu umożliwienie czerpania korzyści dostępnych dla projektów bazujących na otwartym źródle, takich jak swoboda dostępu i możliwość wielokrotnego użytku, przejrzystość czy otwartość na współpracę ze społecznością.

Budowanie otwartej sztucznej inteligencji z InstructLab

Stworzony przez IBM Research mechanizm Large-scale Alignment for chatBots (LAB) umożliwia dostrajanie modeli sztucznej inteligencji poprzez generowanie syntetycznych danych o odpowiedniej taksonomii oraz nowatorskiej wielofazowej strukturze. Takie podejście sprawia, że rozwój modeli AI staje się bardziej otwarty i dostępny dla wszystkich użytkowników, gdyż zmniejszone zostaje jego uzależnienie od kosztownych modyfikacji wprowadzanych przez ludzi oraz zastrzeżonych modeli. Korzystając z metody LAB, modele można ulepszać określając zakres umiejętności i wiedzy związany z taksonomią oraz generując syntetyczne dane z tych informacji na dużą skalę. Dzięki temu możliwe jest wpływanie na model i wykorzystywanie wygenerowanych danych do jego szkolenia.

Po przekonaniu się, że metoda LAB może znacząco pomóc w poprawie wydajności modelu, firmy IBM i Red Hat postanowiły zainicjować InstructLab – społeczność open source zbudowaną wokół metody LAB, bazującą na otwartym źródle modelu Granite IBM. Projekt InstructLab ma na celu oddanie rozwoju dużych modeli językowych w ręce programistów (poprzez ich projektowanie, budowanie i wnoszenie wiedzy) oraz uproszczenie tego procesu w takim stopniu, jak ma to miejsce w przypadku innych projektów open source.

W ramach uruchomienia InstructLab, IBM publicznie udostępnił również rodzinę kodu wybranych anglojęzycznych modeli Granite. Modele te są udostępniane na licencji Apache, co zapewnia transparentność zestawów danych wykorzystywanych do ich trenowania. Anglojęzyczny model Granite 7B został wprowadzony do społeczności InstructLab, gdzie użytkownicy końcowi mogą wnosić swoje umiejętności i wiedzę, aby wspólnie ulepszać ten model, tak jak w przypadku każdego innego projektu open source. Wkrótce dostępne będzie podobne wsparcie dla kodu Granite w InstructLab.

Innowacyjne rozwiązania AI o otwartym kodzie źródłowym na zaufanej platformie Linux

System operacyjny RHEL AI bazuje na otwartym podejściu do innowacyjności sztucznej inteligencji. Zawiera przystosowaną dla przedsiębiorstw wersję projektu InstructLab oraz język Granite i modele kodu wraz z wiodącą na świecie platformą Linux klasy korporacyjnej, aby uprościć wdrażanie w środowisku infrastruktury hybrydowej. Tworzy to platformę do wprowadzania w przedsiębiorstwach podstawowych modeli GenAI na licencji open source. RHEL AI zawiera kilka interesujących elementów:

• Licencjonowany na zasadach open source język Granite i modele kodu, które są wspierane i zabezpieczane przez Red Hat.
• Obsługiwana, cykliczna dystrybucja InstructLab, która zapewnia skalowalne, opłacalne rozwiązanie zwiększające możliwości LLM i udostępniające wiedzę oraz umiejętności znacznie szerszemu gronu użytkowników.
• Zoptymalizowane bootowalne kontenery w modelu image mode, zawierające obrazy RHEL, instancje modeli Granite oraz pakiety narzędzi InstructLab, a także zoptymalizowane biblioteki Pytorch dla akceleratorów AMD Instinct MI300X, procesorów graficznych Intel i NVIDIA oraz frameworków NeMo.
• Kompleksowe wsparcie Red Hat dla przedsiębiorstw i gwarancja utrzymania rozwiązania, zakładająca wiarygodną dystrybucję produktów dla przedsiębiorstw, całodobowe wsparcie produkcyjne oraz rozszerzone wsparcie podczas całego cyklu życia produktu.

Wraz z możliwością eksperymentowania i dostrajania nowych modeli sztucznej inteligencji w RHEL AI, zapewnione zostało także skalowanie mocy tych zadań obliczeniowych za pomocą Red Hat OpenShift AI. Rozwiązanie to zawiera system operacyjny RHEL AI, a jeśli to możliwe, wykorzystuje także własny silnik Kubernetes do trenowania i obsługi modeli AI na dużą skalę oraz bazujące na sztucznej inteligencji zintegrowane możliwości MLOps do zarządzania cyklem życia modelu. Stworzony przez IBM projekt dla przedsiębiorstw watsonx.ai, obecnie zbudowany na Red Hat OpenShift AI, skorzysta z włączenia RHEL AI do OpenShift AI, co przyniesie dodatkowe możliwości rozwoju korporacyjnej sztucznej inteligencji, zarządzania danymi i modelami, a także lepszą wydajność cenową.

Chmura jest hybrydowa, podobnie jak sztuczna inteligencja

Przez ponad 30 lat rozwiązania bazujące na otwartym źródle zapewniały szybką innowacyjność, a także wpływały na znaczne obniżenie kosztów IT i barier dla tego procesu. Red Hat przewodzi tej inicjatywie od niemal równie długiego czasu, zaczynając od dostarczania na początku XXI wieku otwartych platform Linux dla przedsiębiorstw w postaci systemu RHEL, po wykorzystanie rozwiązania Red Hat OpenShift do promowania kontenerów i Kubernetes jako podstawy otwartej chmury hybrydowej i natywnego przetwarzania w chmurze.

Podejście to jest kontynuowane dzięki wsparciu Red Hat dla strategii AI/ML w otwartej chmurze hybrydowej, co umożliwia uruchamianie zadań obliczeniowych bazujących na sztucznej inteligencji tam, gdzie znajdują się dane – w centrum danych, wielu chmurach publicznych czy też na brzegu sieci. Ale wizja Red Hat dla sztucznej inteligencji to także szkolenie modeli i dostrajanie ich w tym samym kierunku, aby mogły lepiej radzić sobie z ograniczeniami dotyczącymi suwerenności danych, zgodności i integralności operacyjnej. Spójność zapewniana przez platformy Red Hat w tych środowiskach, bez względu na to, gdzie działają, ma kluczowe znaczenie dla utrzymania przepływu innowacyjności związanej ze sztuczną inteligencją.

RHEL AI i społeczność InstructLab dalej realizują tę wizję, przełamując wiele barier w eksperymentowaniu i budowaniu modeli AI, zapewniając jednocześnie narzędzia, dane i koncepcje potrzebne do napędzania kolejnej fali inteligentnych zadań obliczeniowych.

Intel i Qualcomm ucierpią na skutek najnowszych sankcji wprowadzonych przez USA