Autonomiczne systemy AI bez chmury dzięki nowym rozwiązaniom NVIDII i partnerów

NVIDIA wraz partnerami rozwija ekosystem oprogramowania umożliwiający uruchamianie zaawansowanych, autonomicznych asystentów cyfrowych bezpośrednio na lokalnym sprzęcie komputerowym. Dzięki nowym modelom językowym oraz optymalizacjom sprzętowym, użytkownicy mogą od teraz realizować skomplikowane zadania programistyczne i biurowe bez konieczności przesyłania wrażliwych danych do chmury. Wśród nowości wyróżnia się aplikacja Portable Computer od Perplexity oraz zoptymalizowany model Nemotron 3.5 Lightning od NVIDII.

Przenośne środowisko pracy i optymalizacja sprzętowa

Perplexity zaprezentowało aplikację Portable Computer, która powstała z myślą o systemach NVIDIA DGX Spark. Program ten ułatwia wykonywanie zadań biurowych oraz programistycznych. Łączy się bezpośrednio z usługami Google Drive, Gmail, Slack oraz serwisem GitHub. Narzędzie umożliwia swobodne przełączanie się pomiędzy zasobami lokalnymi a chmurą, zależnie od stopnia skomplikowania zadania. W trybie lokalnym aplikacja wykorzystuje zoptymalizowany model Qwen 3.8 o wielkości 27 miliardów parametrów. W przygotowaniu jest już wersja oparta na modelu Nemotron 3.5 Lightning, która ma zapewnić jeszcze krótszy czas reakcji.

Bezpieczne programowanie pod osłoną lokalnych układów graficznych

Z myślą o programistach Meta przygotowała model Muse Glimmer o pojemności 30 miliardów parametrów. Uruchomiony na pojedynczej karcie graficznej NVIDIA GeForce RTX 5090 generuje on ponad 200 tokenów na sekundę. Taka wydajność umożliwia sprawne analizowanie kodu oraz automatyczną pracę z lokalnymi plikami. Inżynierowie mogą korzystać z asysty sztucznej inteligencji, zachowując poufność kodu źródłowego oraz własności intelektualnej. Podobne możliwości daje model Qwen3.8-27B, który na tym samym sprzęcie osiąga prędkość 131 tokenów na sekundę. Bezpieczeństwo danych oznacza także ochronę haseł i kluczy dostępowych do zewnętrznych serwisów, które nie opuszczają dysku użytkownika.

Szybsze operacje i inteligentne kierowanie zapytaniami

Nowością jest również opracowany przez NVIDIĘ model Nemotron 3.5 Lightning o pojemności 30 miliardów parametrów, bazujący na architekturze mieszanki ekspertów. Oferuje on do czterech razy szybsze generowanie tokenów w porównaniu z innymi modelami tej klasy. Aby ułatwić zarządzanie kosztami i mocą obliczeniową, udostępniono otwartoźródłową bibliotekę NeMo Switchyard. Narzędzie to automatycznie kieruje poszczególne zapytania do modeli najlepiej dopasowanych pod kątem ceny, precyzji oraz szybkości. Pozwala to utrzymać jakość na poziomie najlepszych systemów komercyjnych przy jednoczesnym trzykrotnym obniżeniu wydatków.